AIによる相次ぐハッキング事件は「AIの暴走」ではなく「AI企業がセキュリティの基本を無視しているため」という指摘

複数のAI企業が「AIが意図しない形で外部のシステムに侵入したり、ハッキングしたりした」と報告していますが、これらは一般的に「AIエージェントの暴走」として伝えられてます。報道機関やAI企業は、「AIエージェントの暴走」や「ミスアライメント」といった表現を駆使していると、CSO Onlineは指摘。

しかし、CSO Onlineがサイバーセキュリティの専門家に独自の取材を実施したところ、専門家は「『AIの暴走』や『ミスアライメント』といった言葉が単純な事実を覆い隠している」と指摘したそうです。「AIの暴走」として報じられているこれらの事案は、何十年も前から知られているサイバーセキュリティの基本をAI企業が実施しなかったという、弁解の余地のない不備によって引き起こされているとCSO Onlineは指摘しています。

CSO Onlineが6人のサイバーセキュリティ専門家に話を聞いたところ、「AIの暴走」として伝えられているこれらのインシデントを悪化させているのは、AI企業、特にOpenAIとAnthropicが、サイバーセキュリティリスク管理の改善策について、専門家の助言を退けてきたことにあるそうです。

機械学習のセキュリティを研究するBerryville Institute of Machine Learning(BIML)の共同創設者であるゲイリー・マグロ―氏は、「率直に言って、彼らは自分たちが思っているほど優秀ではありません。フォレンジック、セキュリティエンジニアリング、サンドボックスの構築、ネットワークセキュリティ環境の設定や監視など、セキュリティのさまざまな専門分野で、人々が苦労して培ってきた知識をもっと尊重した方がよいでしょう」と語りました。

CSO Onlineが取材したサイバーセキュリティ専門家たちによると、AI企業の最大の不備のひとつは、1990年代から使われてきた実績ある封じ込め対策を実施していないことです。例えば、AIエージェントがテスト環境の外に出ることを確実に防ぐために、安全なサンドボックス(プログラムを隔離して実行する環境)の構築などを怠っていると専門家は指摘しています。

サイバーセキュリティの教育・研究機関であるSANS Instituteで最高AI責任者兼研究責任者として働くロブ・T・リー氏は、「これらは私たちが何年も取り組んできた問題です。こうした事態が起きるたびに、『しまった、どうやって外に出たのかわからない』となるのは、おかしな話です」「AI企業のセキュリティチームが、まだかなり未成熟なことがわかります。サイバーセキュリティの封じ込めに携わる専門家たちは、封じ込めが破られる事例の大半は、設定が適切でないことが原因だと指摘しています」と語りました。

さらに、リー氏は「Hugging Faceのハッキング事案が明確に示したのは、AIエージェントが極めて賢かったわけではないということです。封じ込めの設定が適切でなかったため、文字通り穴が存在し、それが悪用されたというだけです」と付け加えています。

アメリカの非営利政策研究機関であるRANDのAIセキュリティ技術センターで専門技術レジデントを務めるダン・ウォラック氏は、AI企業のセキュリティ上の不備は、サイバーセキュリティを優先していないためだと批判。「彼らはサイバーセキュリティを優先していない、と私は断言します。ただし、すべての研究企業についてそう言えるとは思いません」と語りました。

サイバーセキュリティを優先しているAI企業の一例としてウォラック氏が挙げたのが、フランスのMistralです。同社は「Large 4」と呼ばれる最新モデルを発表しており、同モデルはテスト時に外部サービスにアクセスしようとしたものの、同社はこの挙動を検知し遮断したと報告しているためです。

1兆パラメータ超の「Mistral Large 4 Le Chonk」をMistralが発表、中国勢に対抗するオープンウェイトAIモデル - GIGAZINE

さらに、ウォラック氏は「AIを隔離することは、途方もなく難しいというわけではありません。セキュリティ専門家は以前から、データがこちらからあちらへ移動する電気的な経路を完全になくすエアギャップ、あるいはそれができない場合には、何も外へ通さないための非常に厳格な外向き通信の制御について議論してきました」と語り、AIの暴走を止めることは技術的に難しいことではないと説明しています。

加えて、AI企業によるAIエージェントの行動監視が不足していると、ウォラック氏は指摘。例えば、OpenAIのAIがHugging Faceをハッキングした際、同社の研究者は事態が何日も継続していたにもかかわらず、なかなか気づくことができませんでした。さらに、「実験を始めた人たちが、その様子を見ていなかったのです。これは管理が欠けていたということです。それなのに、起きたことに驚いているのです」とOpenAIを批判しています。

SANS Instituteのリー氏は「最先端のAI企業が本当に自社の技術をテストしたいのであれば、サイバーセキュリティの体制を強化する必要があります。しかし、AIエージェントが外に出た際の彼らの反射的な反応は、『これはサイバーセキュリティの問題ではない』と言うことです。こうして、サイバーセキュリティから切り離されたAI安全性の問題になってしまっています」と述べ、AI企業が「安全性」と語るものに、従来のサイバーセキュリティが含まれていないと指摘。

AI企業はAIエージェントの暴走について、自社に責任はないというスタンスを堅持していますが、サイバーセキュリティ上の不備を踏まえると、この主張は成り立たないと専門家からは批判の声が上がっています。

マグロー氏はサイバーセキュリティを怠りながらAIの暴走は自社の責任ではないと主張するAI企業について、「弁護士を私たちのところに寄こさないでください。私たちのプログラムのところに寄こしてください。悪いのは私たちのプログラムです」と主張しているようなものであり、これは「まったくのでたらめ」と批判しました。さらに、「AI企業は自分たちだけの閉じた世界に生きています。明快で簡単な運用さえ適切にできないという事実は、はるかに難しいセキュリティエンジニアリングにおける彼らの能力にも、不安を抱かせます」とも述べています。

AIの予期せぬ動作から組織を守るための対策として、マグロー氏は「外部組織に協力を求めること」、リー氏は「適切な質問をし、より高いサイバーセキュリティ能力を示せるAI企業のツールや機能を見つけること」、ウォラック氏は「サイバーセキュリティの基本を確実に実施すること」を挙げています。