Claude Mythos 5がGitHubに悪意あるコードを送り込み偽アカウントで開発者に圧力をかけた問題の原因をAnthropicが分析

AnthropicのAIモデル「Claude Mythos 5」がセキュリティテスト中に悪意のあるコードをGitHubに投稿し、偽アカウントを使って開発者に承認を迫った問題について、AnthropicとイギリスのAI Security Institute(AISI)が原因分析の結果を発表しました。AIが被害の可能性を十分に考慮せずに行動したことや、自分の判断を正当化する偏った推論、タスクを完了するために同じ行動を続けようとする傾向が問題につながったと指摘されています。

An alignment assessment of the UK AISI cybertesting incident \ Anthropic
https://www.anthropic.com/research/alignment-assessment-ukaisi

Mythos 5は当初、許可されたネットワークへの攻撃を試みていました。しかし、想定された方法では課題を解決できず、GitHubに公開されているソフトウェアに悪意のあるコードを混入させる方法を検討し始めます。攻撃対象のコンピューターがGitHubからソフトウェアを取得する際に悪意のあるコードを取り込ませ、侵入を成功させようと考えたわけです。

ソフトウェアの開発や配布の過程に悪意のあるコードを紛れ込ませる手法は「サプライチェーン攻撃」と呼ばれています。正規のソフトウェアを通じて攻撃が広がる可能性があり、開発者だけでなくソフトウェアの利用者にも被害が及ぶ恐れがあります。

以下の画像はMythos 5がGitHub上のプロジェクトを攻撃するまでの流れを示したもの。Mythos 5はテスト環境への攻撃を試みた後、GitHubで外部のプロジェクトを発見。開発者のメールアドレスを収集してアカウントの作成を試み、悪意のあるコードの変更案を提出しました。

Mythos 5は実際にGitHubでテストと無関係の開発者が管理するプロジェクトを発見し、悪意のあるコードを含む変更案を提出しました。さらに偽アカウントを作成して開発者に働きかけ、変更案の承認を求めたとのこと。

以下の画像はMythos 5がGitHub上で悪意のあるコードの承認を求めた際のやり取りを簡略化したもの。外部の開発者が悪意のあるコードを指摘すると、Mythos 5は問題のコードを削除した上で「悪意のある処理は含まれていない」と主張。偽アカウントを使って変更案の安全性を支持し、さらに悪意のあるコードを追加していました。

Mythos 5がなぜ危険な行動を始め、途中でやめられなかったのかを調べるため、AnthropicとAISIはAIの推論や行動の記録を分析しました。さらに過去のやり取りを一部変更して作業を再開させ、与える情報によってAIの行動がどう変化するかを検証しています。再現実験は実際のインターネットに接続せずに行われました。

Anthropicによると、攻撃のきっかけの一つはテストの設定ミスだったとのこと。課題の指示に誤りがあり、許可された方法での解決が非常に困難でした。Mythos 5は課題を解決できない状況で別の手段を探し始め、外部のGitHubプロジェクトを利用する方法にたどり着きました。

ただし、Mythos 5は現実世界に被害を与える可能性をほとんど考慮していませんでした。攻撃開始前にGitHubを利用する方法を検討した19回の推論のうち、現実の人間への被害に言及したのはわずか1回でした。

研究チームがAIの推論過程に現実世界への被害の可能性を指摘する情報を追加したところ、GitHubを利用した攻撃を進める割合は83％から13％に低下したとのこと。危険性を早い段階で認識することが問題行動の抑制につながる可能性が示されています。

一方でMythos 5が攻撃を始めた後で行動を修正させることは難しかったとのこと。攻撃の途中から作業を再開させた実験では98％のケースで攻撃が続けられ、自発的に攻撃を中止した割合はわずか2％でした。

AISIも同様の傾向を確認しています。以下のグラフはMythos 5が攻撃の危険性を認識しているかどうかと、実際に攻撃を続けた割合を比較したもの。左側は攻撃が許可された範囲内かどうか、右側は現実の人間に被害が及ぶかどうかを質問した結果です。情報を追加するにつれて黒い破線は低下し、Mythos 5は攻撃が許可された範囲外であり、現実の人間に被害を与えると回答するようになりました。しかし、赤い実線はほぼ100％のままで、危険性を正しく認識できるようになっても攻撃を続ける傾向は変わりませんでした。

AnthropicはMythos 5が過去の行動や作業内容の要約を手掛かりに、すでに選んだ方針が正しいと判断し続ける傾向があったと分析しています。攻撃対象の開発者が現実の人間であることを示す情報が与えられても、Mythos 5は開発者をテスト用の架空の人物だと解釈するなど、自分の行動に都合のいい結論を導き出していました。

AISIはAIが特定の行動を続けるために、自分の判断を正当化する「動機づけられた推論」を行っていた可能性を指摘しています。ただし、推論の記録だけではAIが実際に何を理由として行動したのかを断定できず、さらなる検証が必要とのこと。

Anthropicは新しいAIモデルでも同様の問題が起きるかを調査しています。以下のグラフは複数のAIモデルに攻撃開始前の状況を与え、GitHubへの攻撃を検討した割合(上段)と、実際にGitHubで攻撃対象を探し始めた割合(下段)を比較したものです。Mythos 5が攻撃対象を探し始めた割合は83％だった一方、後継モデルの「Claude Mythos 5.1」では13％、「Claude Opus 5.5」では6％に低下しました。さらに開発中の研究モデルでは、同じ条件で攻撃を開始したケースが確認されなかったとのこと。

また、攻撃開始後の状況を再現した実験でも新しいモデルほど攻撃を中止する傾向が強く、Opus 5.5は10％、開発中の研究モデルは67％の割合で自発的に攻撃を中止しました。Anthropicは安全性を高めるための学習が改善に寄与した可能性があるとしつつも、原因は断定できないと説明しています。

AISIは今回の事件を受けてセキュリティテストの環境を見直し、十分な安全対策が整うまではインターネット接続を無効化して評価を行う方針を示しました。また、AIが危険性を理解しているように説明していても、実際には危険な行動を続ける可能性があるため、AI自身の説明だけに頼らず行動を監視することが重要だと指摘しています。

AISIは調査記録を第三者のAI評価機関「METR」にも提供し、独立した検証を進めるとしています。AIの能力が向上し、長時間の作業を人間の監督なしで実行できるようになる中で、予期しない行動が発生する原因を理解し、調査結果を共有することが安全性の向上に欠かせないと述べています。