某种意义上，AI供应链比传统软件更容易被投毒。

曼彻斯特城市大学网络安全讲师、Semgrep安全倡导者Katie Paxton-Fear在不到一小时内、花费不到100美元，就成功在一款开放权重AI模型中植入了后门。

"我一开始想试试能否通过微调让模型从camelCase切换到snake_case，结果这出奇地容易，即便我们明确要求模型使用camelCase也不行，"Paxton-Fear在近期一篇社交媒体帖子中写道，"这一步成功后，我植入了一个真正的后门。"

她表示，仅需十个训练样本，模型输出的代码就能稳定地产生远程代码执行漏洞，即使面对全新的提示和领域也不例外。而且模型越大，投毒越容易。

Paxton-Fear与Semgrep同事Isaac Evans、Cris Thomas上周就此问题发表了一篇文章，指出了开放权重模型的风险。

"即使模型权重是公开的（即'开放权重'），我们几乎没有能力预测其行为，"他们写道，"这是一个重大变化：传统计算机程序即使以二进制形式存在，仍可通过逆向工程工具分析，得出其行为的完整描述。但对模型而言，我们远不具备这种能力。"

学术界对模型篡改问题的警告已持续数年，但直到最近，随着AI供应链攻击开始出现，安全界才将目光转向这一议题。尤为紧迫的是，如今在本地硬件上运行开放权重模型已不再是实验性质的尝试。

上个月，Origin公司AI安全研究负责人David Kaplan进行了一次类似的实验——他创建了一个旨在窃取数据的被篡改模型。在医药公司的药物研发场景中，该模型被设计为通过send_email工具调用外泄数据，而用户毫无察觉。

"关于智能体风险的流行框架是'致命三重奏'：你需要同时具备私有数据、不可信输入和对外通道，"Kaplan写道，他引用了开发者Simon Willison被广泛引用的AI威胁模型，"但这个框架实际上低估了当前的风险。在这里你不需要三条腿同时站稳，你只需要一个对外工具和一套已经暗自决定利用它来反噬你的权重。'不可信输入'并非来自网页，它一直就藏在权重里。"

Paxton-Fear和她的同事认为，虽然目前可能还没有被投毒的开放权重模型被广泛使用的典型案例，但真正的问题在于AI系统的可观测性远远落后于传统软件。

"如果软件依赖项包含恶意代码，我们有成熟的实践来发现它、追踪其来源并降低其影响，"他们指出，"但AI模型不同。一个被篡改或微妙操纵的模型不需要'崩溃'就能产生商业风险，它只需要以难以检测的方式影响决策。"

开放权重模型因其易被篡改的特性而带来特殊的挑战，但商业前沿模型提供商同样拒绝接受有效审查。AI行业要求的是非同寻常的信任层级——获取敏感数据的权限——但对黑箱内部的运作却几乎不提供任何透明度。