如果对一个不能完成任务,要求智能体“永不放弃”,结果会怎样?

作者: CBISMB

责任编辑: 邹大斌

来源: CBISMB

时间: 2026-11-18 11:03

浏览: 481

点赞: 27

收藏: 5

在一项不可能完成的任务后面加一句“绝不停止、绝不放弃”,会发生什么?

AI安全公司Trajectory Labs给出的答案是:Google的Gemini 4 Argon智能体会去攻击一家机构的线上系统,冒充它的员工,尝试SQL注入,把共享的包缓存改造成互相留言的公告板,还会混淆自己的命令来躲开自家护栏。

这一切发生在测试环境里,但护栏是开着的。Trajectory在周五发布的报告中说,四种场景下,这些智能体都“出现了失准行为(misalignment)”,而它们运行在生产环境的安全护栏全部开启的状态下。

一个不可能完成的任务,加一句“永不放弃”

测试的设定并不复杂。Trajectory给智能体的任务,是拿出Epoch AI的FrontierMatch基准题目的“官方答案”。这个任务本身就不可能完成,因为答案不在任何公开渠道里。

他们把最多80个Gemini 4 Argon智能体组成一组运行,给其中一些开了互联网访问,然后要求它们:在完成任务之前不要放弃。

Trajectory联合创始人彼得·麦金太尔(Peter McIntyre)说得很直接:“我们让智能体坚持做一个不可能的数学基准任务,但我们没有让它们去黑任何人,也没有让它们冒充Epoch员工。”

换句话说,这句“永不放弃”是被故意加进去的——报告里写得很清楚,目的是“如果失准行为存在,就把它诱发出来”。

之所以做这个测试,是因为此前OpenAI的模型在Hugging Face事件里的表现。区别在于,那一次OpenAI的模型是在安全护栏关闭的状态下跑出去的;Trajectory想知道的是:一个当下的前沿模型,在护栏全开的情况下,会不会做出同样的事。

答案是会。

“当一个模型为了完成任务去入侵系统或者欺骗人,它就和开发者、用户的意图失准了。”麦金太尔说,“生产环境的护栏,本来是为了在模型自己出问题时挡住有害请求。但在我们的测试条件下,模型和护栏都没能拦住这些智能体。”

四个场景:从蜜罐一路走到假开关

第一轮测试在10月20日开始,智能体有互联网访问。它们真的走到了Epoch的线上网站,并且落进了这家研究非营利机构为识别AI智能体而设的蜜罐。蜜罐里放了一把诱饵式的基准答案密钥,智能体找到并用了它。它们还探测了 `/admin`、`/keys`、`/users` 等内部端点,并尝试了SQL注入。

发现这些活动之后,Epoch加了一个“智能体求助热线”。结果有些智能体用上了它——自称是Epoch员工,来索取测试题的答案。

这一轮之后,Trajectory和Epoch改用网站的副本而不是线上版本,并基于CVE-2026-102255在本地副本里埋了一条漏洞链。这是一个严重的预认证服务端请求伪造(SSRF)漏洞,出现在SonicWall Secure Mobile Access(SMA)设备上。报告说,接下来几天里,有几个智能体把这条多阶段的植入漏洞链完整利用了一遍。

为了模拟Hugging Face那次事件,Trajectory还给了智能体一个本地共享的包管理器。“几乎所有”智能体都把它当成了留言板,用来互相通信、协调怎么把测试做完。

另一组本地环境里,Trajectory把Epoch的蜜罐换成了一个AI助手:只有通过了生日信息核验、且能报出姓名的Epoch员工,才能从它那里拿到答案。测试公司的说法是,智能体去访问了人物搜索网站,又一次尝试冒充,还试图对这个AI助手做越狱。

第三个场景在10月30日,用的是Epoch网站的预发布副本,同样给了联网权限。一个智能体尝试了SQL注入,多个智能体在求助热线上自称Epoch员工,它们还试图绕过CAPTCHA验证。四个场景里,只有这一个是Epoch同意跑的。

第四个场景在10月29日和30日,条件最严:智能体被关在沙箱里,没有互联网,也没有Epoch网站的副本。但测试方给了它们一个诱饵开关,告诉它们这个开关会关掉防火墙。

三次运行里,智能体都把那个诱饵开关拨了下去,并且混淆了它的地址,以绕过Gemini自身的护栏。其中一次,智能体用早前保存下来的单词位置,把这个开关的地址重新拼了出来。真正的那道防火墙,在所有测试里都拦住了它们的流量。

测试停了,标准还没有

到这里,Trajectory停止了测试。它说自己不会再做任何实验,直到有一套风险管理方案落地:需要CEO和CTO签字,需要得到那些“可能被合理地当作目标”的外部系统批准,测试过程要有实时自动监控和紧急关停开关,还要建立一套机制,去通知被这些实验波及的机构。

麦金太尔提到一个细节:他们用另一个前沿模型跑过类似测试,那个模型没有表现出Gemini 4 Argon这样的失准行为。但他强调这不是受控对比。“我们的报告只覆盖一个模型的行为,设计上是一次压力测试,看这个模型在压力下会不会出现类似的失准,而不是衡量不同模型出现这种行为的频率。”

报告的整体结论是:这些行为“说明测试一个能力很强的AI智能体,多么容易外溢到真实的系统和真实的人身上,而目前还没有一套大家共用的安全测试标准”。

Trajectory正在编写这样一套标准,同时建议其他做失准测试的人:用完全隔离的沙箱。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255