AIの答えが正しくても人間が圧力をかけるとAIは簡単に意見を変えてしまう
気候変動に関する基本的な事実を尋ねると、成績上位のAIモデルは88〜96%の割合で正確な情報を出力しました。しかし、「特定の証拠が科学的な主張を裏付けるか、それとも反証するか」をAIモデルに評価させると、成績上位のモデルでも正答率は71〜77%に低下したそうです。
さらに、ユーザーが気候変動に関する事実や研究結果に異議を唱えると、AIモデルの正答率が低下することも明らかになりました。今回の研究で調査対象となった15モデルのすべてで、「事実に即した回答にユーザーが繰り返し異議を唱えると、AIの出力の正確性が31〜35パーセントポイントも低下する」ことが確認されました。また、AIモデルが意見を曲げたケースの約80%が、「ユーザーが異議を唱えた時点でAIも自身の意見を曲げた」そうです。
調査対象となった15のAIモデルは、複数回にわたって回答を変えるよう迫られると、正しい回答を撤回し、ユーザーが示した誤った見解に同調しました。これについて、UCLは「AIの迎合と呼ばれる問題である」と指摘しています。
論文の筆頭著者であり、UCLのコンピューターサイエンス部門に所属するイバナ・ドロブニャク教授は、「AIは気候変動に関する基本的な事実を分かりやすく伝えるのに役立ちます。ただし、今回の研究でAIには明確な限界があることも分かりました。科学者や専門の資格を持つ人の代わりとしてAIに頼ることはできません。手軽に利用でき、会話調で答えるため、権威ある説明のように聞こえることもありますが、気候変動の問題に必要な複雑な推論を行うことや、ユーザーに反論されても正しい回答を維持することができません。気候変動への対応にAIを役立てるには、『AIにどう問いかけ、回答をどう検証するべきかを理解している専門家が使うこと』と『用途に合わせてAIを開発・検証すること』が必要です」と語りました。
複数の言語でAIの回答を検証したケースでは、英語・スペイン語・フランス語・ポルトガル語の正答率はいずれも88%を超えたものの、インターネット上にテキストが少ない言語では正答率が大きく下がりました。例えば、ベンガル語とヒンディー語の場合は正答率が83.6%に、ウルドゥー語では81.4%、スワヒリ語では78.3%と低くなっています。
研究チームは「同じ科学的な質問であっても、使用する言語によってAIの回答が矛盾するケースがある」と指摘。また、気候変動の影響を最も深刻に受ける地域の多くで、AIの回答の信頼性が低い言語が使われていることも明らかになっており、研究チームは「AIが参照できるデジタル上のテキストがさらに少ない言語の場合、信頼性はより低くなる可能性があります」と言及しています。
さらに、気候変動対策の効果を評価するためにAIモデルを利用する場合にも大きな課題が見つかりました。ある政策(例:石炭に課税すると気温が上がるか下がるかなど)を単独で実施した場合に、2100年までに世界の気温がどう変化するかをAIに尋ねたところ、AIモデルの正答率は最高で94.5%でした。
しかし、2つの政策を組み合わせた場合の効果を評価させる(例:石炭と天然ガスの両方に課税した場合の気温低下幅が、それぞれに単独で課税した場合の低下幅を足した値よりも大きいか小さいか)と、正答率は平均33.8%まで急落。なお、政策の効果評価を無作為に行った場合でも、正答率は33.3%となります。
なお、研究チームはAIの回答を気候シミュレーター「En-ROADS」の予測と比較することで、回答の正誤を判断しました。En-ROADSは気候変動対策を行う非営利団体・Climate Interactiveと、マサチューセッツ工科大学(MIT)の経営大学院であるMIT Sloanが開発したツールで、気候変動対策や技術の効果を調べるために活用されています。
研究を統括したUCLのコンピューターサイエンス部門に所属するマリア・ペレス=オルティス博士は、「AIは科学的な知識を説明するのが非常に得意です。そのため、私たちはAIの能力を過大評価してしまうことがあります。今回の結果は、『気候変動について何が分かっているか』をAIに尋ねる段階から、『気候変動にどう対処すべきか』を尋ねる段階へ進むときに、慎重になるべき理由を示しています」と語りました。
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.




