[ITmedia ビジネスオンライン] 再学習なしで正答率6倍 マサチューセッツ工科大学が実証した「AIがAIを直接直す」新手法

著者プロフィール

湯川鶴章

AIスタートアップのエクサウィザーズ AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算20年間の米国生活を終え2000年5月に帰国。時事通信編集委員を経て2010年独立。17年12月から現職。主な著書に『人工知能、ロボット、人の心。』（15年）、『次世代マーケティングプラットフォーム』（07年）、『ネットは新聞を殺すのか』（03年）などがある。

　AIが別のAIの内部を調べ、不具合を見つけて修正する――。そんな新しいAI改良手法を、米マサチューセッツ工科大学（MIT）の研究チームが11月2日に発表した。

　米OpenAIの「GPT-6 Astra」を使い、中国Alibabaの小型AIモデル「Qwen3.5-0.8B」の内部にある数値のわずか0.016％を書き換えたところ、数学問題の正答率が7.9％から48.1％に急上昇したという。

　注目すべきなのは、AIモデルを再学習させずに性能を改善したことだ。従来は大量のデータを使って調整していたAIの内部を、別のAIが分析し、問題のある部分を直接修正した。

　研究チームはこの方法を「Weight-Space Programming」（重み空間プログラミング）と名付けた。AIがAIを改良する新たな可能性を示す研究だ。

AIが別のAIの内部を調べ、不具合を見つけて修正するという改良手法を、米マサチューセッツ工科大学の研究チームが発表した（以下、写真提供：ゲッティイメージズ）

「8億個の数値」を書き換える新手法

　AIモデルの内部には「重み」（ウェイト）と呼ばれる膨大な数値がある。人間の脳でいえば、神経細胞同士のつながりの強さに相当するものだ。AIは学習を通じてこれらの数値を調整し、言葉を理解したり、問題を解いたりする能力を身につける。

　これまでAIの性能を改善するには、追加の学習データを与え、膨大な計算によって重みを再調整する方法が一般的だった。人間のエンジニアがモデルの設計や学習方法を変更することもあるが、数億、数兆もの重みを一つずつ読み解いて修正することは現実的ではない。

　MITの研究チームは、この常識に挑んだ。コンピューター科学・人工知能研究所（CSAIL）の研究者リキヤ・タケヒ（Rikiya Takehi）氏、ジェイデン・テオ（Jayden Teoh）氏、アレックス・チャン（Alex Zhang）氏、オマール・カタハブ（Omar Khattab）氏の4人は、GPT-6 Astraに別のAIモデルの重みを調べさせ、どこを変更すれば性能が改善するかを考えさせた。

　実験対象となったQwen3.5-0.8Bは、約8億個の重みを持つ小型の言語モデルだ。Astraはこのモデルが数学問題を解く際に、同じような推論を何度も繰り返し、答えを出せなくなる問題を発見した。

　そこでAstraは、モデルの第15層と第19層にある特定の重みを修正した。変更対象は13万1072個で、全体のわずか0.016％にすぎない。

　その結果、数学問題の評価試験「MATH-500」の正答率は7.9％から48.1％に上昇した。別の数学試験「GSM8K」でも13.8％から67.1％に改善した。さらに、指示に正しく従う能力を測る「IFEval」の成績も21.0％から62.3％に上昇した。

　数学の知識を新たに教え込んだわけではない。AIが答えにたどり着けなくなる原因を取り除くことで、もともと持っていた能力を発揮できるようにしたのだ。