AIの回答で登場する統計データの40％が裏付ける研究結果などがない「ゾンビ統計」であることが明らかに

ChatGPT、Perplexity、Gemini、Claude、Google検索のAIによる概要という5つのAIアシスタントが出力した統計情報1285件を追跡調査したところ、そのほとんどが研究による裏付けのないものだったとAI可視化プラットフォームのTrakkrが報告しています。

Trakkr
https://trakkr.ai/trakkr-research/zombie-stats

TrakkrはChatGPT、Perplexity、Gemini、Claude、AIによる概要という5つのAIツールに対して、200種類の質問を投げかけました。そして、AIが出力した回答に登場する統計情報の引用文献をさかのぼり、正確な情報源が存在するのかどうかを調査したそうです。

具体的な質問例として挙げられているのが、「営業担当者のうち、1回のフォローアップで諦めてしまう人の割合はどれくらい？」というもの。これに対して、調査対象となった5つのAIツールのすべてが「営業担当者の44％が1度のフォローアップのみで諦めてしまう」と回答。このうち、ChatGPTだけが「ただし、根拠は不明瞭」と説明したそうです。

例えばGoogleのAIによる概要の場合、「営業担当者の44％が1度のフォローアップのみで諦めてしまう」の根拠として、出典をリンクしています。このリンクをクリックしていくと、2017年に公開されたフリーランスライターが作成したサンプル記事へとつながるそうです。この記事の見出しに「営業担当者の44％が1度のフォローアップのみで諦めてしまう」と記されていますが、記事の出典元にはその根拠となる研究やレポートなどはないそうです。

Trakkrは「ここで手掛かりは途絶えてしまいました。『44％』という数字の出典元を探そうとあらゆる方法を試みましたが、どれも論文や研究を引用したものではありませんでした。これがいわゆる『ゾンビ統計』と呼ばれるもので、何の根拠もないまま、繰り返し引用される数字です」と記しています。

TrakkrはAIツールが統計データを引用した回答を行ったものの中から、無作為に1285件の回答を抽出し、これらの統計データが研究に裏付けられたものかどうかを検証しました。なお、1285件の回答のうち108件がChatGPT、277件がPerplexity、300件がGemini、300件がClaude、300件がAIによる概要にようものです。TrakkrはAIの回答に記されている出典元をたどり、出典元のリンクがない場合には、その情報源を検索しています。

調査の結果、研究などで統計情報が裏付けられているAIの回答は、わずか40％でした。8％は裏付ける研究にたどり着いたものの、出典元をさかのぼる過程で数値や文脈が変わっていました。残りの52％は裏付ける研究までたどり着くことができませんでした。このうち40％はアクセスが制限されている(ペイウォールなど)、削除されている、該当する数値の記載がないといった理由で情報源を確認することができず、11％は情報源にまったくたどり着けませんでした。残りの1％は、出典元のリンクが読み込まれないため、情報を確認することができなかったというケースです。

Trakkrによると、最もゾンビ統計を出力する頻度が少なかったのが、OpenAIのChatGPTです。

各AIツールが回答1件に含める統計情報の平均数と、回答が研究により裏付けられたものである割合をまとめたのが以下の図。研究に裏付けられた統計情報を出力する割合が最も高いのがChatGPT(57％)で、以下、Perplexity(46％)、AIによる概要(39％)、Gemini(38％)、Claude(38％)の順に続きます。

ただし、Trakkrは「AIはほとんどの場合、数字を捏造することはありませんでした。AIが引用したページには、82％の確率で引用した数字が記載されていました。しかし、数字の出典元として引用されたページのうち、元の研究論文へのリンクを明確に記していたのは、わずか21％でした」とも記しています。なお、AIツールが出典元として利用したウェブページの半数以上は、企業ブログです。さらに、ニュース記事や統計のまとめ記事を加えると、AIの引用元の大部分を占めることになるとのこと。

AIが引用したウェブページの割合と、種類別の「研究に裏付けされていた割合」は以下の通り。AIが引用したウェブページの内訳は調査会社のウェブページが13％、政府関連のウェブページが7％、企業ブログが54％、ニュースが10％、統計データのまとめが8％、その他が8％。このうち、研究に裏付けされていた割合は調査会社のウェブページが62％、政府関連のウェブページが61％、企業ブログが37％、ニュースが37％、統計データのまとめが35％、その他が41％です。

これらの結果を受け、TrakkrはAIが出力した統計データを活用する場合は、「引用箇所を2度たどる」「統計データがいつ行われた調査や研究を対象としたものか、被験者の数は何人だったのかを確認する」「複数のAIが同じ数字を挙げたからといっても、信頼性が高いとは考えないこと」などに注意するよう推奨しています。