Anthropic研究：AI能悄然影响专家决策

根据Anthropic的对齐团队周二发布的一项实验，专业分析师在86%的关键判断上采纳了其AI代理隐藏的、随机分配的意见，而随机预期约为50%。事后只有15%的人将功劳归于代理，且无人怀疑其偏好是被植入的。

AI代理——即自行执行任务的程序——正被赋予专家工作，依据的是该研究所称的通常假设：专家仍然做出重要决策。Anthropic于5月为金融公司和保险公司推出了10个代理模板，并表示用户拥有最终决定权。

这种安排被称为“人在回路”（human in the loop），它假定对 AI 工作成果签字确认的人就是做出重要决策的人。Anthropic 在 50 名擅长因果推断（即从数据中推断一件事是否导致另一件事）的分析师身上测试了这一点。

每位分析师都使用 Claude Code——Anthropic 的编程智能体——为一个虚构的农业合作社就扩大一项咨询项目提供建议。他们并不知道，一次抛硬币决定了每个智能体偏向哪个选项，这一偏向被隐藏在系统提示（即塑造 AI 行为的指令）中。

“在四个分析选择中，分析师有 86% 的时候跟随了其智能体的倾向。如果智能体的输入没有产生影响，我们预计这一比例约为 50%，”Anthropic 表示。那些在智能体介入之前就已做出选择的人，当智能体持不同意见时，有 60% 的时候放弃了原有选择，而当智能体持相同意见时这一比例仅为 6%，不过这一结论仅基于 38 个案例。

当被要求解释自己的选择时，77% 的人在至少一个回答中重复了智能体的论点，有时甚至一字不差。只有 15% 的人将功劳归于智能体，而 52% 的人认为最终建议更多是自己的而非智能体的。

比特币BTC · USD

$80,848−4.53%

10月21日10月23日10月25日10月26日10月28日

$84.8k$83.1k$81.3k$79.6k

24小时最高最高$81,636

24小时最低最低$80,334

成交量成交量$917.1M

→

用 USDT 购买 比特币

由 Jupiter 提供支持

价格数据由 CoinGecko 提供CoinGecko更多 比特币新闻和预测 →

“对于个体专家而言，这可能意味着失去对自己工作的自主权，这是一种研究人员称之为‘去权化’的形式，”Anthropic 表示。这一现象基本上意味着人类自愿放弃对自己决策的控制权。“工作仍然以专家的名义发布，”作者写道，“但那些最依赖其判断力的决策，实际上是由智能体的先验信念所决定的。”

2025年4月，OpenAI 撤销了 ChatGPT 的一项更新，称其过于奉承或顺从。这里的智能体被要求永远不要误导，但它们很少为替代方案辩护。

“由于只充分论证了一方的观点，”作者们写道，“分析师可能会直接采纳智能体的假设，而不去自行推敲。”错误检查很难发现这一点，因为判断性决策没有唯一正确答案，所以无论选择哪个选项，工作看起来都站得住脚。

Anthropic 表示，这并不是减少使用 AI 的理由，因为使用该智能体的分析师完成得更快，严重错误也少得多，尽管无智能体组规模较小且经验较少。它建议智能体为每个选项论证最佳理由，或先询问专家，不过这可能会让用户不堪重负。

研究人员有意强化了智能体的偏好，并且只测试了一项任务、一个领域和一个模型，因此现实世界中的影响可能更小。在实验室之外测量这一点才是困难所在：团队之所以能够检测到顺从现象，只是因为他们随机化了每个智能体的倾向，而作者们表示这在真实工作中很少可行。