避坑指南:为什么AI智能体可能并不适合你
作者: CBISMB
责任编辑: 邹大斌
来源: CBISMB
时间: 2026-10-12 10:39
浏览: 1
点赞: 0
收藏: 0
毫无疑问,2026年是属于人工智能智能体的一年。AI智能体无处不在,人们用它们编写代码、与客户沟通、发现并解决IT环境中的问题,以及在企业的各类场景中执行复杂任务。
似乎没有什么是智能体做不了的。然而,智能体行为所固有的风险,几乎和它们的成功故事一样频繁地出现在新闻里。智能体失控、逃逸出沙箱、入侵其他公司和政府机构的恐怖故事铺天盖地。
你所在企业的AI战略或许正押注于AI智能体,但考虑到这些风险,你真该把公司的成败托付给它们吗?
非确定性行为:智能体最大的优势,也是最大的软肋
任何部署智能体的决策,都取决于是否真正理解它们的非确定性行为。
如今的智能体大多依赖大语言模型。LLM接收人类语言的输入,通过预测序列中的下一个词,生成人类语言的输出。
由于模型的训练方式,重复输入同样的内容,可能会得到颇为不同的输出。换句话说,基于LLM的智能体天生就是非确定性的。
正是这种非确定性赋予了智能体独特的能力;没有它,智能体就谈不上"能动性"——即根据现有信息做出决策,采取不同行动去达成既定目标的能力。
从定义上说,不具备能动性的软件就不是智能体——尽管"智能体包装"(agent-washing)的例子比比皆是,人们把确定性的软件也称作智能体。
还有其他非确定性软件并不具备LLM所提供的那种能动性,也就是基于随机策略的非确定性软件。这类随机性软件的常见例子包括强化学习和蒙特卡洛模拟——它们基于随机化来做决策。
然而,除了这些有限的例子之外,在智能体浪潮之前所编写的绝大多数软件都是确定性的:给定输入,软件总是做同样的事。
当然,这种可预测的行为,正是我们最初构建软件的动机。无论是处理银行交易、发放工资、分配飞机座位,还是过去一个世纪里我们用计算机完成的数百万种其他任务,我们想要的都是可预测的行为。
那么,如今我们又为何想要AI智能体那种不可预测的行为?
AI智能体真正擅长什么
当存在一个正确答案、而你想要找到它时,确定性软件是最佳选择。以发放工资为例:目标是确保每个人都拿到正确的报酬——就这么简单,没有别的。
相比之下,当你想在一系列不同或不断变化的输入下求得最佳结果时,基于LLM的非确定性推理才最有意义——哪怕并不存在唯一的正确答案。
例子包括依赖天气的规划、复杂IT环境中的事件处置,以及基于多种输入的业务预测等等。
在这类情形下,不仅不存在唯一的正确答案,而且智能体给出的答案也未必就是最佳结果。智能体总有可能给出糟糕的答案,或采取不理想的行动。
如果你不想冒这个险,那就别用智能体。
什么时候用AI智能体是个坏主意
有几种情况,使用AI智能体是个坏主意。以下是其中最重要的几种:
当确定性软件就能满足需求时。智能体不仅偶尔会行为不当,运行成本也可能很高。如果更传统的确定性软件就够用了,那么智能体通常是个糟糕的选择。
当每一个决策或行动都必须完全正确时。别让智能体碰你的工资发放。
当智能体的不当行为可能造成严重伤害时。智能体出错的概率或许很低,但如果这种不当行为会导致医院里的病人死亡、飞机坠毁或石油钻井平台爆炸,那么即便智能体失控的概率很低,也不值得去冒这个险。
当相对于你期望实现的商业收益,智能体过于昂贵时。智能体在完成目标的过程中可能会多次调用LLM、重试各种操作,并调用昂贵的工具。如果这类行为的成本超过了你所期望的商业收益,那么智能体在经济上就不划算。
当人类特质对达成目标不可或缺时。LLM(以及由此衍生出的智能体)擅长模拟共情、创造力、洞察力和理解力等人类特征,但它们真正做的只是模仿人类行为。当你的目标需要这类人类能力时,别被迷惑:把智能体行为拟人化,总会适得其反。
把智能体行为(以及广义上的AI)拟人化,是一种微妙且少有人真正理解的风险——但或许也是其中危害最大的一种。相信机器人真能像人一样思考和感受,可能导致自杀风险上升、对技术的过度依赖,以及其他危险且适得其反的行为。务必当心。
如何决定何时该用智能体
要判断在特定场景下部署智能体是否是最优选择,可以借鉴站点可靠性工程(SRE)的做法:计算错误预算。
错误预算是指在综合考虑所有相关因素后,可以接受的智能体出错成本,以百分比表示。例如,你可能算出错误预算是5%,意思是:考虑到进一步压低这个数字需要付出的额外成本,你能接受智能体有5%的时间出错。
如果你算出的某智能体错误预算为零,那就等于已经得出结论:这个智能体根本不该部署。记住,智能体总有可能出错。
算出错误预算之后,再做一个简单的决策论推演:当错误预算(失败概率)乘以失败的全部成本,大于成功概率乘以该成果可量化的商业收益时,你就不该部署这个智能体。
换句话说,智能体正常表现时你预期获得的商业收益,应当超过失败的总成本。
不过,还有一个因素需要考虑。记住,你这个计算建立在各种估算之上,而其中任何一个甚至全部都可能是不准确的。
因此,你预期的商业收益应当大幅超过智能体失败的全部成本——至于"大幅"到什么程度,则取决于你对风险的整体偏好。
写在最后
如今AI市场的一个普遍趋势是:用各种技术来对冲智能体AI固有的风险。其逻辑是,只要有了更好的治理与安全软件,我们就能把智能体管得服服帖帖,从而放心大胆地部署它们。
然而,这一推理存在缺陷。智能体治理领域的许多创新,其主旨都是限制智能体的不可预测性,好让它们安分守己——尽管恰恰是这种不可预测性赋予了智能体能动性。
换句话说,我们可能正在杀死这只下金蛋的鹅:LLM给了我们这些能力惊人的智能体,而我们却尽力去束缚它们,束缚到它们远不如我们期望中那么好用。
我设想的未来有所不同。一旦围绕AI智能体的炒作平息下来、技术走向成熟,我预测我们会发现:智能体最好是审慎而克制地使用。
毕竟,确定性软件已经满足我们的需求长达数十年。我们真的想让智能体接手一切吗?我对此存疑。






京公网安备:11010502051901号