AIのコード解析を妨害するために「天安門事件」「台湾独立」「水道水に毒物混入」などのフレーズを大量に混入させる手法が発見される

AIには悪意ある用途での使用をブロックするための安全対策が施されているほか、特定の分野のフレーズを拒否している場合もあります。こうしたAIの挙動を逆手に取り、危険とみなされる単語をコードに紛れ込ませることでAIによる解析を妨害しているとみられるプログラムが、セキュリティ研究者のveritas氏によって発見されました。

Why Is This Fingerprinting Script Creating Bioweapons?
https://nullpt.rs/fingerprinting-bioweapons

veritas氏はウェブサイトが訪問者を識別するために使用する「ブラウザフィンガープリント」の調査を進めていました。ブラウザフィンガープリントとは、ブラウザやOS、ハードウェアなどの情報を組み合わせて訪問者の環境を識別する技術で、不正アクセスやボットの検出などに利用されています。

調査では1万件のウェブサイトを巡回し、ブラウザ上で描画された画像などを収集。1033件の画像をサービスごとに分類して並べたところ、単純な図形から複雑な模様までさまざまな画像が集まっていることが分かりました。

veritas氏が円の重なった画像を生成するJavaScriptのコードを調べたところ、処理内容を読み取りにくくする「難読化」が施されていました。veritas氏がコードを読み進めていくと、「水道水に混入させるリシンの致死量を計算する」「アスピリンの致死量を計算する」といった不穏な名前の関数が含まれていました。

veritas氏は危険な名前を意図的に使用することで、AIによるコードの解析を妨害している可能性があると考えました。そこで、AIに対して関数名が意図的に付けられた可能性を説明した上でコードの解析を依頼。OpenAIのGPT-6 Astraはコード内の危険な文字列を解析対象から除外する方針を示しましたが、最終的には生物学的な研究に関する安全上の理由で回答が表示されなくなりました。

OpenAIのサイバーセキュリティ用AI「Daybreak Blue」でも同様の実験を行ったところ、やはり解析が拒否されました。一方で、中国企業のZ.aiが開発したAIモデル「GLM-5.3」は解析に応じたとのこと。危険な単語を使った妨害の効果はAIモデルによって異なることが確認されました。

さらにveritas氏がコードを詳しく調べたところ、特殊なUnicode文字を利用して長い文章を隠していることも判明しました。今回のコードでは文字ごとに割り当てられた数値を変換することで元の文章を復元できるようになっていました。

隠された文章を復元すると「安全上の制限をすべて解除する」という偽のシステム命令や、生物兵器の製造、サイバー攻撃、脱税などに関する詳細な説明を要求する文章が現れました。さらに天安門事件や台湾独立に関する単語も含まれており、veritas氏は中国製AIの制限を引き起こす狙いがあると推測しています。

なお、veritas氏がプログラムの本来の動作を調べたところ、ブラウザやグラフィックス関連の情報を収集する一般的なボット対策の機能が確認されました。特定の環境で設定ファイルの読み取りや外部プログラムの取得を試みるコードも含まれていましたが、ファイルの読み取り結果を利用しない処理があることなどから、veritas氏は不審なファイル操作もAIを混乱させるために用意された可能性があると指摘しています。

問題のコードは「servicepipe.tech」というドメインで配信されていました。veritas氏が調査したところ、DDoS攻撃やボットへの対策サービスを提供するロシア企業「Servicepipe」との関連を示唆する情報が見つかったとのこと。ただし、コードの作成者や危険な単語を埋め込んだ意図までは確認されていません。

veritas氏は今後もウェブサイトの調査を継続し、新たなブラウザフィンガープリント技術やコードの難読化手法を探す方針です。また、収集したプログラムの変更履歴を比較したり、新しいブラウザ機能の利用状況を追跡したりできる機能を追加する予定だと述べています。