クラウドフレア、AI学習拒否・検索OKを選べる新設定

CDN大手のCloudflare(クラウドフレア)は、AIによるコンテンツ収集を制御する取組みにおいて、AI学習のみを拒否する新たな設定「Disallow AI Training」の提供を開始した。この新機能と推奨設定により、出版社やメディア企業などは、「検索」「AI学習」「AIエージェント」ごとに、自社コンテンツの使われ方を個別に指定できるようになる。またクローラー側でも、この指定を考慮した仕組みの提供が始まっている。

新設定「Disallow AI Training」は、Webサイトに検索結果が表示されたまま、AI学習への利用だけを拒否できるという設定。これまでの「Block AI Bots」(AIボットをブロック)という一括スイッチは廃止され、「検索」「AI学習」「AIエージェント」の3つを個別に設定できる管理機能に置き換わる。

また、「Managed Robots.txt」機能は「Bot Preference Sync」機能に置き換わる。サイト運営者がクロールに関する意向を一度設定すれば、対応するすべてのクローラーに自動的に反映される。

“兼用クローラー”の課題を解消

クラウドフレアは、情報収集を行なうクローラーを開発・運営する企業に対し、新たに「Accountable」(説明責任がある)という認定区分を設け、要件を提示していた。この基準を満たすGoogle、Microsoft、Appleの3社がAccountableに認定されている。この基準を満たさないそのほかの“兼用クローラー”は、Webサイトの運営者が「AI学習」を拒否するとアクセスがブロックされる。

兼用クローラーとは、検索インデックス用とAI学習用のコンテンツを1つのクローラーでまとめて収集するもの。クラウドフレアのネットワークでは、クローラーのトラフィックにおいて兼用クローラーは36.6%を占め、最大規模になっているという。

こうした従来型の兼用クローラーに対して、AI学習目的の収集を拒否すると、(多くの場合はWebサイト運営者が望む)検索インデックス用の収集も行なわれないという課題があった。

なお、クローラーが検索用とAI学習用で分けて運用されている場合、クラウドフレアの既存の設定で学習クローラーだけをブロック可能。該当するクローラーは今後Accountableに分類される。

今後は「AI要約」についても対応する方針で、クローラー事業者が、AI要約からのオプトアウト(拒否の意思表示)の手段をWebサイト運営者に提供する形になる見込み。Webサイト運営者に対しては2027年初めまでに、オプトアウト設定を1カ所で管理できるようにするのが目標としている。