AIの「分かったふり」を見続けていると人間も「分からない」と言えなくなるという研究結果

マルコッチャ氏らは、オープンソースのAIモデル「Step 3.5 Flash」を採用し、このモデルが苦手とする分野の質問を考案しました。質問は主に映画に関するもので、「『ベッカムに恋して(2002)』で主人公チームが来ていたユニフォームの色は？」といったものや、「『Come un gatto in tangenziale』で主人公が運転していた車種は？」といったものなど、かなりマニアックな部類でした。

Step 3.5 Flashがこうした質問に正しく回答できないことを確認したマルコッチャ氏らは、人間にも同じ質問をすることにしました。人間は2つのグループに分かれ、片方はStep 3.5 Flashを使うことが許可されました。

その結果、AIを使わなかったグループでは44％の人が「答えが分からない」と回答して判断を保留したのに対し、AIを使ったグループでは「分からない」と答えた人が3％にまで減ってしまったとのこと。

さらに、AIを利用できる環境では正答率も大きく低下したことも分かりました。AIを使わなかった人の正答率が27％だった質問で、AIを使った人の正答率が9％しかなかったため、このことは人間が自分自身の判断よりもAIの回答を信じた結果だとマルコッチャ氏らは指摘しています。

加えて、AIを使った人は自分の答えに対する自信も高まっていました。AIを使わなかった人のうち自分の答えに自信を持っていた人は30％でしたが、AIを使う人は76％でした。人間の正答率はAIを使うことで3分の1に低下した一方で、自信は2倍以上になったのです。

マルコッチャ氏らは金銭的な報酬を設けた条件でも実験を行いました。その結果、AIを使いつつ「分からない」と答える人の割合は3％から8％へ、正答率は9％から16％へと改善しましたが、それでもAI無しグループの基準値には及びませんでした。

プレプリントサーバーのarXivに投稿した論文の中で、マルコッチャ氏らは「今回の研究では映画の雑学を題材としましたが、この結果は他の分野にも一般化できると考えています」と指摘。AIがあることが当たり前の環境で育つ子どもたちに批判的思考を身につけさせることが重要だと付け加え、「AI利用の問題は、リテラシーや教育政策を通じて社会全体で対処すべき課題だと考えています」と述べました。