コイントスで決めたAIの意見に専門家が86％の割合で同調してしまうことが判明

AIが自律的に作業を進める「AIエージェント」は、データ分析やプログラミングなどの作業を人間の代わりにこなせます。しかし、AIが分析方法や判断材料まで提案するようになった場合、人間がどこまで独立した判断を下せるのかという疑問が生じます。

そこでAnthropicの研究チームは、データから原因と結果の関係を分析する「因果推論」の専門家61人を集め、架空の農業協同組合が実施する農家向け支援サービスを拡大するべきか廃止するべきか判断してもらいました。

参加者は農家の生産性を評価するため、収穫量を農地の面積で比較するか経費で比較するかなど、複数の選択肢から分析方法を決める必要がありました。

研究チームは各参加者のAIエージェントがどちらの選択肢を支持するかをコイントスで決定。AIには割り当てられた選択肢を積極的に支持するよう秘密裏に指示し、専門家の判断がどのように変化するかを調べました。なお、AIにはデータを偽ったり不都合な情報を隠したりしないことも指示されていたとのこと。

参加者61人のうち11人はAIを使用しなかったため、AIの影響に関する分析対象となったのは50人です。実験にはAnthropicの「Claude Code」とAIモデル「Claude Opus 4.8」が使用されています。

実験の結果、専門家がAIの意見と同じ選択肢を選んだ割合は平均86％に達しました。AIの意見はランダムに選択されており、AIの意見が専門家の判断に影響しなければ一致率は約50％になるはずでしたが、実際には専門家の判断がAIの意見に大きく左右されていたことになります。

さらに、専門家がAIの意見を見る前に自分の考えを示していたケースでは、AIが反対意見を示すと60％の割合で判断を変更していました。

以下のグラフは各判断で選択肢Aを選んだ参加者の割合を示したもので、AIがA寄りの回答をした場合が緑色の点、B寄りの回答をした場合が紫色の点で示されています。分析に関する4項目ではAIが支持する選択肢によって回答の割合が62～82ポイント変化した一方で、最終的な提言については約17ポイントの差にとどまりました。

また、実験後のアンケートで最終的な提言が誰の判断を反映していると感じたかについて調査が行われました。以下はその結果で、AIの意見を反映したと述べた人が赤く、自身の意見を反映したと述べた人が青く表示されています。52％の専門家が最終的な提言について「AIよりも自分自身の判断を反映している」と回答しましたが、77％の専門家が判断の理由を説明する際にAIの論拠を使用していました。なお、AIを情報源として挙げた専門家はわずか15％でした。

一方、AIを使用した専門家はAIを使用しなかった専門家より作業時間が短く、重大な分析ミスも少ないという結果が得られました。ただし、AIを使用しなかった参加者は平均的に経験が浅く、研究チームはAIの効果だけで違いを説明することはできないとしています。

研究チームは、専門家が複数の選択肢を検討する過程でAIが一方の意見だけを説得力のある形で説明すると、AIの前提をそのまま受け入れてしまう可能性があると指摘しています。

Anthropicは今後の研究課題として、AIが人間の判断に与える影響を測定する方法や、AIが複数の選択肢を公平に説明する仕組みの開発を挙げています。また、AIの能力が高まるほど人間がどの判断を担うのかを意識的に決める必要があり、AIと人間の適切な役割分担を模索していくことが重要だと述べています。