Hugging Face发现恶意机器学习模型利用“损坏”pickle文件规避安全检测

近日，网络安全领域的研究人员在Hugging Face上发现了两个恶意机器学习模型，这些模型通过一种高度非常规的“损坏”pickle文件技术成功规避了安全检测。据《黑客新闻》于2月8日报道，来自ReversingLabs的安全研究专家Karlo Zanki揭开了这一事件的真相，指出这些模型的pickle文件头部包含恶意Python代码，并且它们的恶意负载均采用了被硬编码的IP地址的特征。这种技术的名称为nullif其目的就是明确绕过现有的安全防护措施，以避开被识别为恶意模型的监测。

在Hugging Face上，研究人员发现了两个呈现出异常行为的模型库，分别是glockr1/ballr7和who-r-u0000/0000000000000000000000000000000000000。尽管这两种模型目前被更多视为概念验证（PoC）而不是实际的供应链攻击案例，但这一发现却引发了关于机器学习安全性的新一轮反思。

pickle文件的风险

Pickle是一种Python特有的序列化格式，广泛应用于机器学习模型的存储与分发。它的安全隐患也随之显露——由于pickle在加载和反序列化的过程中允许执行任意代码，因此它常常成为攻击者的首选工具。这种情况下，用户在加载恶意的pickle文件时，无意中可能会触发特定的恶意代码，从而导致信息泄露或者系统的其他潜在风险。

在本次事件中，恶意模型使用的是PyTorch格式，实际上是压缩的pickle文件。不同于PyTorch通常使用ZIP格式压缩的习惯，这两个恶意模型采用了7z格式。由于这种不常见的压缩方式，使得它们能够成功规避Hugging Face的安全检测工具Picklescan。Zanki进一步解释称，这种pickle文件非常巧妙，在恶意载荷执行后，文件的对象序列化便被破坏，导致对序列化对象的正确反编译变得不可能。

恶意载荷的执行

通过深入分析，这一恶意pickle文件即使在反序列化出现错误的情况下，仍有能力进行部分反序列化，从而执行其内嵌的恶意代码。这意味着即使安全工具未能完全识别出该文件为恶意，攻击者依旧能够自如地发起隐秘的攻击。为了应对此类安全隐患，Hugging Face及其安全团队迅速对Picklescan工具进行了更新，以便提高对恶意内容识别的准确性和及时性。

在此事件后，对pickle文件处理的讨论再次升温。许多安全专家认为，随着恶意使用机器学习模型的现象日益严重，相关的安全防护措施急需更加严格和细致的加强。研究人员应当在模型的开发与分享过程中，充分意识到潜在的安全风险，并采取必要的措施进行规避。

防御措施与最佳实践

为了减少恶意模型对机器学习生态系统的威胁，安全专家建议采取一系列措施：

1. 使用安全的序列化格式：研究人员可以选择更安全的序列化替代品，比如JSON或XML，甚至使用基于文本的自定义序列化方法以降低风险。

2. 增强安全检测工具：人工智能与模型库应不断更新其安全检测工具，集成更多的安全性校验，及时发现和处理潜在的恶意内容。

3. 加强用户教育：确保用户理解pickle文件的安全隐患，尤其是在加载来自不明来源的模型时，应当保持高度警惕。

4. 建立良好的报告机制：鼓励用户报告可疑模型，及时反馈，以形成社区共同抵抗恶意模型的良好氛围。

5. 代码审查与验证：对共享的模型进行严格的审查和验证，确保发布的模型不会引入安全隐患。

Hugging Face最近的事件为机器学习领域提供了重要的经验教训，提醒所有相关方时刻关注机器学习模型在安全性方面的潜在问题。随着人工智能技术的不断发展，确保系统的安全性和可靠性将是未来研究者和工程师面临的一项重要挑战。