AI学習の可否をrobots.txtで指定 Google、MS、OpenAIらが共通仕様を27年導入

OpenAIやGoogle、Microsoft、Anthropicは、Webサイトの運営者がrobots.txtを使って、AIの学習可否などを指定可能にする共通仕様の策定を進めると発表した。2027年の導入を目指す。

robots.txtは、Webサイトにおいて検索エンジン等のクローラー(サイトから情報収集する仕組み)へのアクセス可否を示すファイル。robots.txtを指定することで、検索サービスやAIサービスに対し、対象となるページやWebサイトの情報収集を許可する、もしくは拒否するなどを、Webサイトの運営者側が決める仕組みとなっている。しかし、AIサービスにおいては、robots.txtを無視して情報収集するケースも多く、日本においても新聞協会らが問題視している。

そのため、Webサイト運営者はクローラーを個別に識別し、企業ごとにルールを管理する必要があった。今回の取り組みでは、業界で共通のシグナルに対応することで、運営者の負担軽減などを図る狙い。

Googleによれば、Webサイト所有者が、robots.txt内で共有の「ポリシートークン」を使用することで、参加しているAIプロバイダー全体にわたる設定を指定できるようにする。

Googleの例では、Webサイト事業者やパブリッシャーは、「Google-Extended」という仕組みを使うことで、検索でのクロールを許可しながら、Geminiによる学習を拒否するなどの設定は可能となっている。こうした設定をrobots.txtにおける共通の仕組みとして整備することが今回の取り組みだ。

この取り組みは、Internet Engineering Task Force(IETF)のAI Preferencesワーキンググループにおいて協議して策定し、27年に各社導入予定。Googleは27年の導入を予定しているほか、OpenAIは今後数カ月以内での導入を目指すとしている。また、Microsoftは27年2月から適用する方針。

共通仕様を策定したうえで、各社の独自のクローラー制御などは継続。Googleでも、より細かな設定はGoogle-Extendedを活用するという。また、Microsoftはページ単位での学習設定や独立したグラウンディング設定なども追加する。