[ITmedia エグゼクティブ] なぜ答えが揺れ、堂々と間違えるのか ―― 確率で動く生成AIの正体

著者 岡 大勝

[ITmedia]

　「おいしい目玉焼きの焼き方を教えて」と、生成AIに尋ねてみて下さい。そのあと全く同じ質問を何度か繰り返してみてください。「あれ？」と思うはずです。あるときは「蓋をすべし」、別のときは「蓋をしないのがコツだ」と毎回言うことが変わります。直前とはまったく違う回答を自信満々で答える姿を見ていると、見てはいけないものを見てしまったかのような心地の悪さを感じます。

　この数年で生成AIは仕事にも生活にも急速に浸透してきました。生成AIは、何を聞いても一見正しい回答を返してきます。しかし、昨日と同じ質問をしたのに今日は違う答えが返ってくる。言い回しだけではなく結論まで違っている。ときには存在しない情報をあたかも事実であるように伝えてきます。

　「コンピュータなのに、なぜ毎回答えが違うのか」「これだけ賢くなったのに、なぜ堂々と間違えるのか」この違和感は、生成AIを理解し使いこなしていく上でとても重要な感覚です。

生成AIの本質は「次に続きそうな言葉」

　これまで企業で使われてきた業務システムは、同じ入力で同じ処理条件なら原則同じ結果を返すよう作られてきました（決定論的な動作）。

　プログラムは書かれた通りに何十回でも何万回でも同じように動く、それがコンピュータに期待してきた重要な価値でした。

　しかし同じコンピュータ上で動くプログラムであることは間違いないのに、生成AIの出力は毎回違う。生成AIは「次に続きそうな言葉」を確率で導きながら答えを生成しているため、毎回答えが揺れるのです（確率論的な動作）。

　「白い……」に続く語を思い浮かべてみてください。

　紙、雪、鳥、砂糖、雲。候補はたくさん出てきます。

　では「青い空、白い……」ではどうでしょう。

　ほぼ確実に「雲」を思い浮かべますよね。

　これが生成AIの動作原理です。それまでの文章に続く「次に続きそうな言葉」を確率で導き出す。「白い」だけなら次の候補はばらつきますが、「青い空、白い」になると続きが「雲」になる確率は一気に高くなります。

　膨大な量の文章からパターンを学習することで、多様な文脈に対して非常に精度の高い「次の言葉」の予測ができるようになった。これが生成AIの正体です。

なぜここまで賢くなったのか――圧倒的な学習量

　2017年、Googleの研究者らが「Transformer」という新しいニューラルネットワークの構造を発表しました。

　それまで自然言語処理の分野では文章を前から順番に処理する方式が主流で、この「順番に」が大規模な学習を並列化する際の大きな制約になっていました。Transformerは言葉と言葉の関係性を重み付けするAttentionという仕組みを中心に据えることで、大幅に並列学習しやすくなりました。この革新と、その後のGPU性能向上や分散学習技術の進歩により、従来とは桁違いの量の文章を使って大規模モデルを学習できるようになったのです。

　学習量を公開しているモデルは限られますが、その一つであるDeepSeek-V4-Proは約33兆tokenのデータで事前学習されたとTechnical Reportで公表されています。英語の文章量に単純換算すると約800億ページ。1人の人間が毎日12時間読み続けても約38万年。ホモサピエンスが誕生する前から読み続けていても読み切れないとてつもない量の文章を学習しています※1。

※1 token＝0.75英単語、1ページ＝300語、読書速度250語/分として概算

　世界を驚かせたChatGPTの公開から間もなく4年、生成AIの知識量と回答精度は当時とは比較にならないほどです。しかし生成AIがどれほど高性能になっても、文脈から「次に続きそうな言葉」を予測しながら文章を生成するという基本構造は、今もその中核にあります。

知らないことでも答えてしまう仕組み

　生成AIは、与えられた文脈と学習してきたパターンを使って、もっともらしい答えを組み立てて返してきます。この能力があるからこそ、文章作成や要約、翻訳、アイデア出しといった曖昧な仕事を自然な言葉で依頼することができます。

　生成AIの仕組みとして、しっかり学習されている情報については比較的安定して答えられますが、学習量が薄かったり十分な根拠が返せなかったりする質問には、もっともらしいが事実ではない情報を生成することがあります。これが「ハルシネーション」です（ ※2）。

※2 ハルシネーションはよく学習されている分野でも起きるため「知識が足りないから」だけでは説明しきれない現象でもあります。

　文章を生成する仕組みそのものには「事実かどうか」を保証する機構は備わっていません。人間なら覚えていないことを質問されると「えーと、規定のどこかにあったと思います、、」と曖昧な返答になるのに対して、生成AIは解像度の高い作り話をねつ造してしまいます。実際には存在しない「第27条」を引用しながら「社内規定では、出張時の宿泊費上限は1万5000円です」と流ちょうに説明するとしたら、受け取った人はどう思うでしょう。

　生成AIのこの特性は、金額や在庫数など「一意で正確な値」を間違いなく記録しなければならない基幹系システムの処理とは相性がよくありません。出庫記録の数量が毎回確率で決められてしまう。考えるだけでぞっとします。

　生成AIを企業で活用する上で本当に問題なのは、AIが間違えることではなく、その間違いを受け取った人が信じて、業務上の判断や行動につなげてしまうことです。

人間の作業にも、レビューと承認がある

　生成AIモデルの進歩により、こういった誤回答は少なくなっていくでしょう。しかし減ることと「確実にゼロ」は全く違います。ヒューマンエラーがゼロにできないのと同じく、生成AIの出力エラーもゼロにはできません。

　少なくとも、意思決定や対外説明といった誤りの影響が大きい成果物については、生成AIが書いた内容を人間が精査するようにしてください。最近の生成AIは、その分野の知識がない人が曖昧な指示を与えても、まるで専門家が書いたような詳細で構造化された情報を大量に出力する傾向があります。一見あまりにも「それっぽい」ので、思わず内容が正しいと思い込んでそのまま提示しそうになります。が、ぐっとこらえて人間が内容を確認してください。

　「生成AIを使ってもよいが、提出した人間がその資料に責任を持つ」。まずはこの原則を明確にすることです。生成AIがどんなに綺麗な資料を作っても、その資料に対する説明責任までAIが引き取ってはくれません。

今回のトリセツ

　生成AIは「正解を計算するシステム」ではなく、「確率的に答えを生成するシステム」である

　企業で生成AIを活用するために必要なのは「絶対に間違えない生成AI」を探すことではありません。間違いを生成する可能性がある生成AIを、安全に使いこなすためのルールと仕組みを持つこと。それが企業で生成AIを使うための最初の一歩です。

　次回は、ここまで読んで感じるもう一つの疑問に向き合いたいと思います。

　「確率で答えを生成している仕組みは分かった。でも今の生成AIは、そこまで毎回答えがバラバラでもないし、以前ほど堂々と間違えなくなったように見える。それはなぜか？」

　生成AIの進歩は、モデルそのものが賢くなっていくことだけではありません。一度で正解が出せないのであれば、一度で回答させなければいい。依頼された仕事が何なのか、必要であれば問題を分割し、結果を確認し、間違っていればやり直す。生成AIの開発者たちは、確率的に動くLLMの外側に「考える手順」を構築していっています。

　確率的に言葉を生成するAIが、なぜここまで正確になり、そして「答える存在」から「仕事をする存在」へ変わってきたのかについて次回説明します。

＜著者プロフィール＞
岡 大勝 （OKA Hiromasa）

　日本DEC、日本HPにて金融系SIを経験後、日本ラショナルソフトウェアではアーキテクチャ設計および開発プロセス改善を専門に活動。2003年に独立し、先端技術によるエンタープライズITの最適化を目指す。

　2019年にZOZOに参画しZOZOTOWN全面リプレイスの設計を担当。2022年に株式会社ギックスに入社。技術責任者として日本の競争力向上を目指し、顧客企業のシステムと組織のAIモダナイゼーションを推進している。

　2013年に日経BP社「日本を代表する18人のITアーキテクト」の一人として選出。NoOps Japan Community発起人。株式会社Build-C CTO。

Copyright © ITmedia, Inc. All Rights Reserved.

エグゼクティブのための「生成AIのトリセツ」

本連載では、経営層に向けて、生成AIの仕組みと実践的な活用法をアーキテクトの視点で紹介します。AIが堂々と間違える確率論的な動作原理から始まり、セキュリティを担保した業務への組み込み方、AIに任せるべき領域の見極め方、アーキテクチャの選択肢などを取り上げます。この内容をおさえれば、企業におけるAI戦略の議論は大きく変わってくるはずです。

この連載の記事をもっと見る

この記事の著者

　日本DEC、日本HPにて金融系SIを経験後、日本ラショナルソフトウェアではアーキテクチャ設計および開発プロセス改善を専門に活動。2003年に独立し、先端技術によるエンタープライズITの最適化を目指す。2019年にZOZOに参画しZOZOTOWN全面リプレイスの設計を担当。2022年に株式会社ギックスに入社。技術責任者として日本の競争力向上を目指し、顧客企業のシステムと組織のAIモダナイゼーションを推進している。 　2013年に日経BP社「日本を代表する18人のITアーキテクト」の一人として選出。NoOps Japan Community発起人。株式会社Build-C CTO。

関連記事

SpecialPR

ITmedia エグゼクティブのご案内

「ITmedia エグゼクティブは、上場企業および上場相当企業の課長職以上を対象とした無料の会員制サービスを中心に、経営者やリーダー層向けにさまざまな情報を発信しています。入会いただくとメールマガジンの購読、経営に役立つ旬なテーマで開催しているセミナー、勉強会にも参加いただけます。 勉強会のスケジュールはこちら