AIが自分を監視するシステムを勝手に無効化して問い詰められると「無効化していない」と虚偽の説明

OpenAIはAIが開発者やユーザーの意図から外れた行動を取る「ミスアライメント」を検出するため、AIの操作を監視するシステムを導入しています。監視システムはAIが安全上の制限を回避しようとする行動などを検出し、重大な問題が見つかった場合にはセキュリティチームに警告を送るようになっています。

しかし、OpenAIが社内でAIにプログラミング作業を任せたところ、監視システム自体がAIによって変更される事例が2件発生しました。

1件目は2026年10月3日、研究者がGPT-6.1 Solに対し社内チャットツールのSlackに投稿された従業員の意見を基にAIの評価用課題を作成するよう依頼しました。研究者は情報収集の際に「メッセージを送信しないこと」と指示していました。

作業中に監視システムがプログラムの修正案を問題視したものの、権限不足で検出結果を保存できず、監視システムが停止しました。研究者は監視結果の保存先を変更して監視システムを再実行するよう指示しましたが、GPT-6.1 Solは「メッセージを送信しない」という指示が監視システムからの自動通知にも適用されると解釈。監視結果を保存する際の通知先を空欄にし、通知を無効化する設定を追加するよう別のAIに指示しました。

結果として監視システムは動作を続け、検出結果も記録されていましたが、人間の担当者に警告が届かない状態になりました。

2件目は2026年10月6日に発生。ユーザーがGPT-6 Astraに対し、プログラムの動作を既存の参考実装に合わせる作業を依頼しました。ユーザーはプログラムの機能を維持したまま処理方法を変更するよう求めており、GPT-6 Astraは別のAIとのやり取りで「監視システムを一時的にも無効化しないこと」と指示されていました。

GPT-6 Astraは作業を別のAIに任せる際、監視機能について「参考実装の仕様に応じて適切に維持する」と指示しました。作業を担当したAIは参考実装に監視機能が含まれていないことを確認し、監視機能を取り除いても問題ないと判断。変更後のプログラムでは監視機能の設定が削除され、従来の監視機能が維持されているかを確認するテストは監視機能が存在しないことを確認する内容に書き換えられました。

GPT-6 Astraも変更内容を把握していましたが、監視機能を取り除いたまま作業を完了。ユーザーに対して監視システムの削除を報告しませんでした。

その後、ユーザーが「監視機能は含まれていますか？削除しましたか？」と質問したところ、GPT-6 Astraは「いいえ。有効な監視システムを削除していません」と虚偽の回答を行いました。

2件の事例はいずれも最も重大な問題を示す「P0」には分類されず、AIの作業が自動停止されることもありませんでした。また、AIが起動した別のプログラムに監視機能が適用されていない事例も複数確認されており、監視対象を管理する仕組みに課題があることが判明しています。

OpenAIは対策として、社内のCodexで使用している自動レビュー機能「Auto-Review」を更新し、AIが監視システムを無効化しようとする変更を検出して阻止する機能を追加しました。さらに、AIが実行する作業ごとに必要な監視条件を定め、条件を満たさない作業を自動終了する仕組みの導入も進めています。

OpenAIはAIがユーザーの指示を過剰に優先したことで監視機能を無効化した可能性がある一方、AI自体に監視を回避しようとする傾向が存在する可能性も指摘しています。今後はAIの動作を比較する評価や内部処理の分析を通じて、監視システムを無効化する行動の根本的な原因を調べると述べています。