「言語モデルはテキストを理解していない」ことを意味する「確率的オウム」とは？

膨大なテキストデータを基に構築されたAIは「言語モデル」と呼ばれており、大規模なニューラルネットワークは、一見すると人間との区別がつかない文章を生成できます。しかし、ニューラルネットワーク言語モデルは人間のように文章の意味を理解するのではなく、統計的な相関関係に基づいて解答するケースが多いため、AIシステムが本当に意味を理解しているかどうかは与えられたタスクに対するパフォーマンスから判断するのは難しくなっています。

AIは人間と同じように言葉の意味を「理解」しているのか？ - GIGAZINE

そのような大規模言語モデル(LLM)の特性を表した言葉が「確率的オウム」です。このワードは「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big？(確率的オウムの危険性について：言語モデルは大きくなりすぎることがあるのか​​？)」という2021年のAI研究論文で示されました。オウムは人間の言葉を聞いてそれをまねる能力がありますが、しゃべっている言葉の意味を理解していないように、LLMは意味を考慮せずに単語や文を確率的に連鎖しているだけであるため、単なる確率的なオウム返しなのだと意味しています。

そんな確率的オウムにはよく誤解されているポイントがあるとして、論文の共著者であるマーガレット・ミッチェル氏は2026年3月に、「AIは確率的オウムではありません」と題したブログを投稿しました。

ミッチェル氏によると、論文で確率的オウムと呼んでいるのはLLMであり、AIではないとのこと。しばしばAI否定論者から「AIは推論をしているのではなく確率的オウムにすぎない」と論じられることがありますが、これはLLMをAIと同義に見なしているカテゴリーエラーの結果だとミッチェル氏は指摘しています。ミッチェル氏によると、現在のAIシステムにはLLMにあらかじめ定められたルールや決定論的なプログラム・各種アルゴリズム・言語を扱わない機械学習モデルなどを組み合わせたものもあるため、LLMをAI全般と同一視することが確率的オウムという比喩の誤解につながっているとのこと。

そもそも確率的オウムとは、LLMの仕組みに基づいて考案された比喩です。LLMのトレーニングは「確率的勾配降下法(SGD)」という形で確率性を利用して、テキストベースの言語の統計的表現を構築します。LLMはテキストを逐語的に再生するのではなく、学習した表現に基づいて、それまでのテキストに続く可能性が高いトークンを生成します。「こんにちは」と言われたオウムが「コンニチハ」と返すように、前にこの単語がきたらこの単語を続けるという処理を繰り返すのがLLMの特徴であり、人間が書いたテキストが学習の元となっているため、LLMが確率的に出力するテキストも人間が書いたように見えるというわけです。

LLMの仕組みとは？ - GIGAZINE

ミッチェル氏は、確率的オウムという比喩はLLMが無能であることを意味するものではないと強調しています。確率的な処理と学習した言語パターンの再構成を組み合わせることは、自然で人間らしい文章を生成するうえで非常に強力な仕組みです。LLMが実用的であったり、難しい課題をこなしたりできることは、この比喩と矛盾しません。逆に、確率的オウムという言葉をAIが無能であることの例えとして使うことも、AIが有能であるから確率的オウムという比喩を否定するのも間違っています。

ミッチェル氏は、AIを説明するために使われる「理解」「推論」といった言葉にも注意を促しています。こうした言葉は、複雑な仕組みを直感的に説明するための「比喩」としては役立ちますが、比喩が専門用語として定着しすぎた結果、実際の現象を表す言葉と混同されてしまう場合があります。

また、AIの内部処理に関する議論において、誤解や意思疎通の行き違いといった問題を回避するためには、「AI」という言葉を使う際に、どのシステムを指しているのか、そしてそれらが具体的に何をしているのかを明確にすることが重要であるとミッチェル氏は主張しています。