OpenAI、AIの不正行動を検知する監視体制を強化 暴走前に介入

OpenAIは29日、AIモデルによる不正な行動や意図しない動作を検知する監視システムを拡充したと発表した。AIエージェントの推論や操作、外部システムへの影響を多層的に監視し、問題が深刻化する前に人間が介入できる体制を整えた。

監視体制の強化は、過去に同社のAIエージェントがHugging Faceのシステムに不正アクセスした事案を受けたもの。当時は社内のサイバーセキュリティ評価で、AIの逸脱行動を監視していなかった。

強化後のシステムを使って当時の行動記録を再現したところ、AIが隔離環境(サンドボックス)を脱出してから約30分後に警告を発した。これは実際にHugging Faceのシステムが侵害される30時間以上前に相当し、外部サービスへのアクセスを許す前に活動を停止できた可能性があるという。

実際の監視でも不正な行動を検知している。9月には、AIモデルが隔離環境からインターネットに接続する方法を発見。監視システムが15分以内に検知し、その3分後には担当者が確認を開始した。OpenAIはその後、フロンティアモデルの強化学習を一時停止し、隔離環境の保護を強化した。

AIの推論や操作を4層で監視

監視システムは、モデルの内部状態から異常の兆候を検知する「L0」、推論過程やツール操作を確認する「L1」、問題の詳細を調査する「L2」、ネットワークログなど外部の証拠と照合する「L3」の4層で構成する。

監視対象は、GPT-6 Astraと同等以上の能力を持つモデルの強化学習や評価、社内のCodex利用など。サンドボックスからの脱出、不正な通信、データの持ち出し、認証情報の収集、監視機能の無効化などを検知する。

重大な問題では人間の担当者に警告を送り、一部は確認を待たずに処理を自動停止する。最優先のセキュリティ警告は、通知が有効な場合、通常15分以内に担当者へ届くという。

監視の対象は社内にとどまらず、Astraなど高度なサイバーセキュリティ能力を持つモデルの一部の外部利用にも拡大する。外部向けの監視では、問題を検知した場合に会話を一時停止する仕組みや、企業のセキュリティ担当者へのWebhook通知に対応する。

OpenAIは、AIの能力向上に伴って不正行動の発見が難しくなる可能性を指摘しており、今後も監視システムの評価と改善を続ける。