AI以"自信的错误"而闻名，现在它还在影响人类变得同样如此。

在一项新研究中，研究人员测试了AI对评审创新提案的人类评估者的影响，结果发现，AI推荐工具的说服力足以让评估者推翻独立人类专家做出的决定，从而导致他们错过有前景的创新。同样，当AI认可了人类专家认为平庸的想法时，评估者也会随声附和。

有趣的是，当模型解释自身时，评审者更倾向于服从错误的AI决定。叙事性解释削弱了人类判断，而非增强它。当不被告知AI做出决策的理由时，人们的表现反而更好。

"我们的研究结果显示，LLM的解释并不一定能改善决策。"来自哈佛商学院、麻省理工学院和华盛顿大学的研究人员在研究结论中写道，"有效的人机协作需要设计能够保留而非取代人类独立判断的系统。"

AI的解释理由可能削弱人类判断

每家企业在推进项目之前都会先筛选拟议项目，但不确定性始终存在，并且存在权衡取舍的风险，比如假阳性（推进最终失败的项目）或假阴性（拒绝本可能成功的想法）。对于前者的例子，研究人员举出了Google Glass或Amazon Fire Phone；对于后者，则是施乐终止早期以太网和PostScript项目。

由于时间有限、只能依据基本信息，决策者越来越多地转向LLM——用预测算法基于上下文生成推荐和理由。

研究人员着手探索AI在所谓的"早期创新筛选"中扮演的角色。他们评估了人类评审者如何受到LLM推荐的影响——包括模型解释其决策方式和原因的版本，以及不提供解释的版本。

他们的实验请228位经验丰富的评估者对麻省理工学院一项挑战赛的近50份参赛作品进行评审，测试了三种场景：无AI辅助的纯人工评审；附带书面理由的LLM评估；以及不附带解释的黑盒AI通过/否决推荐。

随后，评估者的决定被拿来与四位人类专家的决定进行比较，后者被视为"正确"基准。评估者被评判的标准是：他们完全遵从LLM推荐、推翻推荐，还是"有效推翻"——即在做出决定前独立核实了看似有说服力的模型输出。

他们的决定被分为三类：正确（与人类专家的通过/否决一致）、假阳性（支持专家会拒绝的参赛作品）、假阴性（拒绝专家会放行的参赛作品）。

总体而言，评估者有67%的时间接受了LLM推荐。他们对黑盒和叙事性LLM决定的认同率约为75%，但对人类决定的认同率仅为54%。

看似反直觉的是，黑盒推荐提高了决策质量（与人类专家意见一致），而叙事性推荐却没有。当LLM给出"否决某参赛作品"的推荐并附上理由时，评估者不成比例地表示认同，这减少了假阳性，却"大幅"增加了假阴性。

研究人员推测，这是因为叙事性解释"抑制"了有效的推翻行为：LLM提供了一个易于接受的、有说服力的论点，本质上阻碍了人类的独立核实。这与"LLM解释能增强人类决策"的常见假设相矛盾。

研究人员指出，人类在认知上倾向于比正面信息更重视负面信息，这种现象被称为"消极偏见"。

"否决是一种主动的、排除性的决定，它比保留可选项感觉更重大、更需负责。"他们写道。它还维持了现状、避免了风险和偏见，且不需要投入资源。

研究人员解释说，LLM的解释为认同否决决定提供了"现成的理由"，让人类无需独立核实；人类实质上把思考外包给了AI。评估者往往依赖流畅性、连贯性和表面可信度等表层线索。LLM特别擅长利用这一点，因为它们语言流畅、看起来像专家，制造出"解释深度的错觉"。

因此，"即使对决策的推理过程了解有限，人们也往往会高估自己对决策的理解。"研究人员写道。

在推荐系统中找到平衡

研究人员指出，他们的发现对设计AI辅助评估系统的企业具有"明确的启示"。

他们建议，企业在高风险决策中应对LLM的解释保持谨慎。AI推荐不应被不假思索地采信；在部署前应始终进行测试。这有助于提高准确性，并促使人类评审者发现错误、了解模型运作方式，甚至可能提高人机一致性。

研究人员指出，在质量控制、合规筛选或欺诈检测等决策场景中，LLM解释可以支持人类做出保守决策。另一方面，在早期筛选等任务中，LLM叙事可能因"阻碍独立判断、抑制有效的人类推翻"而损害表现。在这种情况下，更简单或更不透明的推荐反而可能保留人类的自由裁量和核验空间。

研究人员建议，未来解释系统的设计应把任务性质和AI出错的可能代价纳入考量。企业可以试验支持对比性叙事的模型（给出否决想法的理由，同时给出认可它的理由），或基于固定阈值披露不确定性的模型，而不是纯粹二元的决策。系统也可以设计成主动邀请人类提出异议。

研究人员还指出，有机会测试叙事性解释在决策后期阶段是否产生不同影响——那时评估者可选项更少、信息更多，并且更有动力去核实输出、深入思考问题。

最后，研究人员强调："组织不应把AI解释视为普遍有益的透明工具，而应将其视为行为干预，其效果取决于评估者在不确定性下如何处理信息。"