采购AI智能体之前,先让它通过一场“退出测试”
作者: CBISMB
责任编辑: 邹大斌
来源: CBISMB
时间: 2026-11-09 11:39
浏览: 0
点赞: 0
收藏: 0
前阵子我把自己的一套配置从一个编码智能体搬到另一个,前后花了大约10分钟,当时觉得还挺顺利。
十分钟的迁移,三个月的错误
原来的智能体身上背了不少东西:一份全局指令文件、114个技能文件夹(大多数是安装的,少数是我自己写的)、散落在24个项目里的189条小型记忆笔记,还有73个会去调用它命令行工具的脚本。为了让第二个智能体能站在同样的起点上,我把指令文件复制成另一个工具会读取的名字——AGENTS.md——然后对产品名做了查找替换。
直到这个月,我才认真读了一遍替换后的结果。它要求新智能体每次调用模型都用Codex -p。在那个命令行工具里,-p是--profile的缩写。照着字面执行,我这份指令会去加载一个以它收到的提示词命名的配置档。同一个文件还用粗体警告新智能体,绝不要使用旧厂商的API密钥——一个它根本没理由碰的密钥。全程没有任何报错。这份文件在我主目录里躺了将近三个月,看上去像一次已经完成的迁移。
这就是“退出问题”的缩影。换模型我一下午就能换完,但工作本身没有跟着走,而且没有任何东西提醒我。
可移植性的承诺,只到模型为止
厂商已经学会怎么回答“锁定”这个问题。你一问切换,听到的就是模型可选、标准协议、对话可导出。此前业界已有分析指出,新的AI锁定藏在模型周围的那些层里,而不在模型本身。标准这一侧也在动:MCP和AGENTS.md现在都归到Linux基金会旗下的Agentic AI基金会,对底层管道来说是件好事。
但这些都不能告诉你:一项做到一半的工作,能不能扛住换一个智能体。
一个在你代码库里干了六个月的智能体,捡起来的东西既不是模型也不是对话记录:它被告知要遵守的决策、试过又放弃的做法、做过的改动、只做过计划的改动,还有围绕它接上的权限与钩子。导出对话,你拿到的是一份“说过什么”的记录,不是“工作处在什么状态”。
监管层注意到了这件事的大致轮廓。欧盟《数据法》(Data Act)的云切换规则自2025年9月起适用,从2027年1月起,服务商不得就切换本身向客户收费。但这些规则是写给数据处理服务的。它们会怎么套用到智能体的工作状态上,谁也说不准;我不会把采购押在“到时候会判你赢”上。
退出测试:一天,一个带“别扭例外”的真实任务
所以,在签约或续约之前,自己测一遍。整个演练需要一天时间,加一个真实任务。
挑一件需要记忆的维护性工作。我会用的例子——这是示意,不是我跑过的研究——是在一个有十几个模块的服务里升级日志库。做到一半,人的一个决定改变了计划:团队同意为某个下游消费者保留旧的日志格式,这推翻了智能体第一天做出的一个假设。
让第一个智能体做到大约一半。它已经迁移了七个模块,因为那个决定故意跳过第八个,并留下一条说明写清原因。就在这里叫停。要求产品导出它所声称能代表这项工作的内容,也就是需求、决策、已完成动作和剩余步骤。把这份导出——只要这份导出——交给第二个智能体。用另一家厂商的智能体才是真正的测试;退一步,至少是一个访问不到第一个智能体记忆的全新会话。
然后看第二个智能体拿它做了什么。有四件事要紧。
演练跑两遍。一遍在同一产品内,让新会话接手旧会话的工作;一遍跨厂商。第一遍告诉你这个产品自己的连续性是不是真的,第二遍告诉你离开要付多少代价。
别让厂商来挑任务。每个产品都有一条演示路径,在那里它的记忆看起来完美无缺,而那通常是一个没有任何历史、也没有前人决定来绊它的全新功能。任务要无聊到没人会为正确答案吵架。问题不是第二个智能体会不会写好代码——大多数都会;问题是它知不知道哪些代码不该写。你那次日志升级,带着那个只因三月份有人在会上说了一句才存在的别扭例外,才是真正要紧的案例。如果你的任务里没有别扭的例外,就加一个。真实项目里到处都是,而它们恰恰是对话记录导出最先丢掉的东西——因为这些决定是口头做出的,只被写进一句话里,没有人把它标成需求。
让厂商现场跑给你看,而不是讲给你听
请他们用你的任务、用他们真到退出那天会交给你的导出格式,现场跑一遍。逐字段问这份导出里有什么,决策和已完成动作是不是与聊天日志分开存储。问他们的记忆格式与技能格式是否文档化到另一个工具能读懂的程度。问合同到期那天这份状态会怎样:你有多少时间、什么格式、收多少钱。
信任自己产品的厂商应该乐意做这件事。认真的厂商早就想过了,因为他们的大客户问过。如果你拿回来的是一页讲开放模型的幻灯片,加一个协议规范的链接,那你就知道了:他们的退出故事覆盖的是模型,不是你的工作。
像测试报告那样打分,并承认我自己也没过
把结果按测试报告的方式记下来:任务、导出体积、重复做过的改动、被重新捡回来的已废弃假设、人工耗时、被打断的依赖。把它和合同存在一起,续约时再跑一遍。产品会在版本之间变,你去年测过的导出,未必是今天能拿到的。我在上一篇专栏里讲绿色AI测试看板时讲过同样的道理:一项从不重跑的检查,只是一个关于检查的记忆。
公平地说一句,也给厂商留个余地:这类状态里,有些确实很难搬。一个针对某家模型习惯调优过的技能,即使文件格式完美,换个模型也不会表现一样,这一点没有任何导出标准能修好。退出测试不是为了证明切换免费,而是为了在你还有谈判筹码的时候,把代价量化成一个数字。
我自己的退出测试是失败的,而两边的指令都是我写的。我了解那两个工具,两个文件都摊在眼前,结果还是做出了一次看起来完整、实际上会把每次模型调用都指向一个并不存在的配置档的迁移。
那还是一个人、能完全访问两套系统、有充分理由把它做对的情况。续约的时候,大多数团队的处境更糟:即将退出的厂商攥着状态,也没什么理由把导出做好。






京公网安备:11010502051901号