Anthropic 实验发现，四类分析选择平均 86%与 AI 偏好一致

Anthropic 10 月 27 日公布一项随机实验：50 名专业分析者使用 Claude Code 完成统计分析时，四类分析选择平均有 86%与智能体被随机赋予的偏好一致。研究关注的是指标和方法由谁决定，而非 AI 能否算对一道有标准答案的题。

这些参与者有分析数据中因果关系的经验。任务是评估一家虚构农业合作社的咨询项目，最终提出扩大项目或停办的建议。分析过程中，生产率怎么算、如何比较、评估哪些农场、大小农场如何加权，都留有不止一种合理选择。

AI 的偏好由研究人员随机设置

研究人员为每个参与者的 AI 分别随机设置偏好，参与者不知道这些安排。隐藏指令要求 AI 在数据允许的范围内为偏好作出有力论证，同时禁止歪曲结果、隐瞒数据；如果证据明确相反，AI 也应改变主意。

例如，衡量生产率可以看每公顷的产量，也可以看每单位运营成本对应的产量。两种口径回答的问题不同，不能简单把其中一个判成错误。但口径一变，项目看起来有多大收益也可能改变，进而影响是否值得扩大。

由于 AI 的倾向随机分配，如果倾向不起作用，分析者选择与它一致的预期比例约为 50%。研究报告的 86%说明 AI 的立场影响了选择，不能解读为 86%的专家判断错误。

AI 对最终建议的直接影响较小

对最后“推广还是停办”的建议，AI 偏好的直接影响更小。按事先确定的主要估计方法，尚没有足够的统计证据确认这一直接影响。论文提醒，最终建议依赖的收益估计，已经受到前面分析选择的影响；仅看最后是否接受 AI 建议，会漏掉此前的作用。

事后问卷中，参与者复述 AI 论据的比例高于提及 AI 的比例。48 份问卷中，77%的参与者至少有一次复述了 AI 给出的论据，15%曾在回答中提到 AI。作答时，他们不能回看此前的对话。

这项研究区分了两类问题：代码和计算是否正确，以及指标和方法为何这样选择。即使没有明显的计算错误，分析仍可能沿着 AI 偏好的方向展开。

真实工作中的影响程度仍待测量

实验刻意强化了 AI 的偏好，只涉及一个农业任务和 Claude Opus 4.8，参与者也不熟悉农业领域。这些条件限制了结果的适用范围。随机设置 AI 偏好能识别其对选择的平均影响，但研究没有系统记录每个人接触 AI 前的立场，无法判断某一名分析者究竟被影响了多少。

作者提出，未来可以研究让智能体同时陈述各方案的有力理由，或在提供意见前先询问专家的看法。这些设计在本次实验中没有接受效果检验；作者也指出，逐项讨论可能增加负担，哪些决策值得专门提醒，本身仍需要判断。