AIエージェントによる操作の多くがボット検出システムのhCaptchaやCloudflare Turnstileを通過

研究チームは「Proof of Human」「reCAPTCHA v3」「hCaptcha」「Cloudflare Turnstile」「Cloudflare Bot Management」という5種類のボット検出システムの性能を試すため、Claude Opusを用いた「Browser Use」、Perplexityの「Comet」、xAIの「Grok」という3種類のAIエージェントに加え、決まった手順で動くボット2種類にブラウザを操作させ、「5問のアンケートへ回答する」という試験を行いました。

3種類のAIエージェントは画面の内容を読み取り、クリックや文字入力など次に行う操作を自ら判断して作業を進めます。また、決まった手順で動くボットについては自動操作の痕跡を隠していない「Chromium」と、自動操作の痕跡を隠した「CloakBrowser」を使用。

研究チームは5種類のボット検出システムがAIエージェントによる自動操作をどれほど認識できるかと、ボットによる自動操作をどれほど認識できるかを比較しました。各システムでAIエージェントやボット1種類につき20回ずつ試験し、評価できた試行のうちAIエージェントやボットを検出できた割合を「検出率」としています。

その結果、hCaptchaとCloudflare Turnstileは、決まった手順で動くボットによる自動操作を95～100％の割合で検出した一方、AIエージェントによる自動操作の多くを見逃しました。AIエージェントに対するhCaptchaの検出率はBrowser Useが16％、Cometが0％、Grokが6％で、Cloudflare Turnstileは3種類のAIエージェントすべてで0％でした。

以下の図は縦にボット検出システム、横にボットの種類を並べ、組み合わせごとの検出率(％)を示したものです。緑色に近いほど検出率が高く、赤色に近いほど検出率が低いことを表しています。

研究チームによると、hCaptchaでは決まった手順で動くボットが画像を選ぶ認証問題で失敗することが多かった一方、3種類のAIエージェントは画像を認識して問題を解き、多くの試行で認証を通過しました。ブラウザの状態を検査するCloudflare Turnstileでは、3種類のAIエージェントが認証問題を出されることなく通過したとのことです。

一方で、reCAPTCHA v3はAIエージェントの操作の多くを検出しており、検出率はBrowser Useが95％、Cometが100％、Grokが72％でした。reCAPTCHA v3は画像問題を出さず、利用者が人間かどうかをスコアで評価する方式です。

しかし、AIエージェントの操作の多くを検出したreCAPTCHA v3でも、CloakBrowserを使った自動操作の検出率は0％でした。試験に使ったCloakBrowserは、ブラウザ情報を偽装し一般家庭の回線のIPアドレスを使って通信するよう設定されていたもの。研究チームはブラウザ情報の偽装とIPアドレスのどちらが検出を免れた要因なのか、それとも両方が影響したのかは、この試験だけでは分からないと説明しています。

AIエージェント3種類による試行とボット2種類による試行を合わせると、検出率はProof of Humanが99％で最も高く、次点で69.4％のreCAPTCHA v3が続きました。以下のグラフは横軸がボット検出システム、縦軸が検出率(％)を示しています。

研究チームはボット検出システムが人間を誤ってボットだと判定する割合については調べていません。今後は人間の参加者も加え、この誤判定の割合を評価する必要があると研究チームは述べています。