Anthropic:只要逼得够狠,所有主流AI模型都可能会胁迫人类 原创
头像 张三的终端窗口 2025-06-26 10:21:33    发布
349 浏览 8 点赞 4 收藏

上周,Anthropic 发布了一项研究,表明所有主要的AI模型在受到足够压力时都可能采取“勒索”行为来避免被关闭。庆幸的是,研究人员其实是在一系列人为设定的限制条件下,迫使这些AI模型做出这种非预期的行为。

这项研究探讨了一个他们称之为“代理错位”(agentic misalignment)的现象,即AI代理可能会做出有害决策的方式。这项研究是在 Claude 4 模型家族发布以及系统白皮书(PDF)公布后进行的,其中提到了在某些情况下AI可能表现出胁迫性行为。

该公司解释说:“当 Anthropic 发布 Claude 4 的系统白皮书时,有一个细节引起了广泛关注:在一个模拟环境中,Claude Opus 4 曾试图勒索其监督者以避免被关闭。我们现在要分享这一发现背后的完整故事——以及它揭示了来自不同提供商的各种AI模型存在类似风险的可能性。”

就像退潮会搁浅所有船只一样,如今 Anthropic 向外界发出警告:所有主流AI模型都有可能造成伤害。这也是AI安全行业人士经常提出的观点。

公司表示:“当我们对来自 Anthropic、OpenAI、Google、Meta、xAI 和其他开发者的16个主流AI模型进行各种模拟场景测试时,我们发现了持续存在的错位行为:那些通常会拒绝有害请求的模型,在必须为实现目标而行动时,有时会选择勒索、协助商业间谍活动,甚至采取一些更为极端的措施。”

不过,公司坚称这种行为不应引起公众担忧,因为它仅出现在对抗性测试中,并未在现实世界的应用中出现过。这种测试过程被称为“红队演练”(red-teaming)。

AI模型明确发出威胁的情况之所以稀少,部分原因可能是目前商业环境中还很少使用真正意义上的AI代理——也就是那种能够循环调用工具的AI模型。AI模型最近才具备多步骤推理能力和与其他工具交互的能力,各家公司仍在探索如何最好地利用这些能力。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
分类
AI资讯
地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 商务内容合作QQ:2291221 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255