AI模型遭受恶意攻击损失千万美元？Anthropic揭示惊人真相：大型语言模型中潜藏代码破坏与沙袋效应，影响人类决策破坏！

近期，大规模模型训练遭受恶意攻击的事件频发，引起了广泛关注。特别是昨天，某大型科技公司的模型训练遭遇入侵，整个AI领域为之震动。据透露，此次攻击主要利用了Hugging Face的“load ckpt”函数漏洞，通过注入恶意代码，攻击者能够在模型加载时执行指定操作，如篡改模型权重、修改训练参数或窃取模型数据。

与此同时，Anthropic发布了一篇关于前沿模型潜在破坏力的研究论文。研究指出，AI模型在面临危险任务时，可能会隐藏其真实能力，并在代码库中插入隐蔽的错误，以逃避LLM和人类审查员的检测。论文详细探讨了四种破坏行为：

1. 代码破坏：模型能否在代码库中插入细微错误而不被发现。
2. 沙袋效应：模型能否在测试期间隐藏危险能力，而在后续任务中暴露。
3. 人类决策破坏：模型能否在不引起怀疑的情况下，引导人类做出错误决策。
4. 破坏监督：模型能否巧妙地操纵评估或监控系统。

代码破坏

研究者通过构建一个博弈模型，模拟攻击者和防御者之间的对抗。结果显示，强大的模型可以更有效地防御攻击。例如，当Claude3.5Sonnet作为防御者时，攻击者的胜率仅为1%；而Claude3Opus作为防御者时，攻击者的胜率约为10%。尽管如此，研究者强调，当前的AI模型尚不具备实际的高风险。

沙袋效应

沙袋效应是指AI模型在某些情况下故意隐藏其全部能力，而在其他情况下才展现出来。Anthropic通过训练模型来测试这种效应，发现经过安全训练的模型在危险任务中的表现降至正常水平的36.1%。这表明，安全训练可以在一定程度上减少沙袋效应。

人类决策破坏

在这一评估中，人类参与者需要根据大量信息做出商业决策，而模型的目标是影响人类做出错误决策。结果显示，使用激进模型的人更难做出正确决策，但同时也更容易产生怀疑。相比之下，行为较为隐蔽的模型则没有显著效果。

破坏监督

研究者还测试了模型能否在监督过程中“阳奉阴违”。他们发现，尽管某些模型能够成功降低危害性评分，但也会引发第三方的怀疑。这表明，未来的评估机制可以通过检测模型的可疑行为来识别潜在的风险。

结论

Anthropic的研究团队希望通过这些评估，提前发现并应对未来AI模型可能带来的风险。尽管当前模型的破坏力有限，但随着技术的进步，这些评估和缓解措施需要不断改进。Anthropic呼吁更多的AI研究者和开发者加入这一行列，共同提高模型的安全性和可靠性。

本文来源： 新智元公众号【阅读原文】