幻覚がひどいAIでも言葉遣いが洗練されていれば人を簡単に騙せることが判明

事前の予想通り、被験者は洗練された言葉遣いで正しい回答をするAIを最も高く評価しました。一方で、流暢な文章で微妙に間違ったことを言うAIも、正しい回答をするAIと同程度に「知的で好ましい」と見なされたことが分かりました。

また、被験者は全員、10問の多肢選択式問題からなるロード・オブ・ザ・リングのクイズを受け、少なくとも7問正解した者のみがAIの会話を読む次のステップに進んでいましたが、ほとんどの被験者はAIが示す誤情報に気づかなかったことも明らかになりました。

この研究により、人々がいかに簡単に誤った方向へ導かれ、AIを信頼してしまうかが示されました。研究の共著者で准教授のバーバラ・ミュラー氏は、「文章が洗練され、自然に聞こえると、人々は自動的に知性を感じ取ります。その結果、無意識のうちに『これは問題ない。これ以上確認する必要はない』と考えるようになるのです」と指摘しました。

研究の共著者で教授のティボール・ボッセ氏は、「大規模言語モデルは、統計的にもっともらしく、読みやすい文章を生成するように訓練されています。これらのシステムは必ずしも真実を重視しているわけではありません。ほとんどのチャットボットは、出力が正確とは限らないという注意書きを表示していますが、回答ごとに不確実性を自発的に示すことはまずありません。この手のAIがウソを語ることからユーザーを本当に守りたいのであれば、テクノロジー企業に対して不確実性を明示するよう義務づける必要があります。AI自身が疑念を表明すれば、人々がウソを真実として受け取ることを防げます」と述べました。