Google-Suche ja, Modelltraining nein: Neue Cloudflare-Regeln

Cloudflare erweitert seine Steuerung für KI-Crawler: Websitebetreiber können künftig festlegen, dass ihre Inhalte nicht zum Training von KI-Modellen verwendet werden dürfen, während Suchmaschinen sie weiter indexieren. Die neue Option „Disallow AI Training“ zielt auf Crawler, die ein Anbieter zugleich für Suche und KI-Training einsetzt.

Das betrifft laut Cloudflare insbesondere Applebot, Googlebot und Bingbot. Bisher schränkte das Blockieren solcher Mehrzweck-Crawler im Zweifel auch die Auffindbarkeit in der jeweiligen Suche ein. Cloudflare veröffentlicht die Präferenz gegen KI-Training in der robots.txt und klassifiziert zugleich die zugreifenden Crawler. Reine Trainingsbots blockiert der Anbieter technisch in seiner vorgeschalteten Infrastruktur. Mehrzweck-Crawler wie Googlebot dürfen für die Suche weiter zugreifen; ihre Betreiber sollen die Trainingssperre beachten. Details beschreibt Cloudflare in seinem Blogbeitrag.

Neue Ausnahme für Mehrzweck-Crawler

Cloudflare unterscheidet Bots nach drei Verwendungszwecken: Search steht für den Aufbau eines Suchindex, Training für das Trainieren oder Feintunen von Modellen und Agent für Abrufe im Auftrag eines Nutzers, etwa durch Browser- oder Chat-Agenten. Ein Mehrzweck-Crawler kombiniert mindestens Suche und Training unter derselben Bot-Kennung.

Die neue Option ergänzt die bisherigen Optionen „Allow“, „Block on pages with ads“ und „Block“. Bei „Disallow AI Training“ trägt Cloudflares Bot Preference Sync die passenden Anweisungen in die robots.txt ein. Reine Trainingscrawler, etwa von Amazon, Anthropic, Meta oder OpenAI, blockiert Cloudflare bereits in seiner vorgeschalteten Infrastruktur. Bei Mehrzweck-Crawlern bleibt der Zugriff für die Suche dagegen möglich, sofern der Betreiber die Trainingssperre respektiert.

Cloudflare hatte die Steuerung erst im Juli in die drei Kategorien Suche, Training und Agenten aufgeteilt. Diese Logik war restriktiver: Wenn ein Bot mehrere Rollen übernahm, griffen alle zutreffenden Regeln. Wer das Training blockierte, sperrte damit auch einen Crawler, der zugleich für die Suche zuständig war. Die neue Einstellung entschärft genau diesen Zielkonflikt für die von Cloudflare als „Accountable“ eingestuften Betreiber.

„Block“ sperrt nun auch die Suche

Mit der neuen Ausnahme ändert Cloudflare zugleich die Bedeutung der vorhandenen Blockieroptionen. „Block“ und „Block on pages with ads“ greifen nun auch für Mehrzweck-Crawler. Wer einen solchen Bot vollständig aussperrt, verhindert damit also sowohl KI-Training als auch Suchindexierung – also auch Applebot, Bingbot und Googlebot.

Die Option „Block on pages with ads“ soll Crawler nur auf Seiten stoppen, auf denen Cloudflare Werbung erkennt. Eine vergleichbare Regel als robots.txt-Anweisung gebe es nicht, erklärt das Unternehmen: Die Liste der betroffenen URLs sei zu dynamisch und zu umfangreich. Eine Einstellung, die KI-Training nur auf Seiten mit Werbung untersagt, bietet Cloudflare nicht an. Für Agenten führt Cloudflare ebenfalls keine entsprechende Opt-out-Option ein. Dafür fehle bislang eine etablierte Direktive; das Unternehmen verweist auf noch entstehende Standards wie ai-prefs.

Die Änderungen gelten laut Cloudflare seit dem 15. September für Bot Management und AI Crawl Control. Die bisherige Pauschaloption „Block AI Bots“ wird durch die feineren Kategorien ersetzt, die verwaltete robots.txt durch Bot Preference Sync. Bestehende Konfigurationen will Cloudflare automatisch übertragen. Die Funktionen sollen in allen Tarifen verfügbar sein.

Apple und Google unterstützen die Trennung, Bing später

Cloudflare stuft Apple, Google und Microsoft als „Accountable“ ein. Das ist keine externe Zertifizierung, sondern eine eigene Kennzeichnung für Bot-Betreiber. Sie setzt laut Cloudflare voraus, dass Betreiber ein Opt-out für KI-Training und KI-Zusammenfassungen anbieten oder verbindlich zusagen, außerdem Transparenz auf URL-Ebene schaffen und die Suchsichtbarkeit trotz Trainingssperre erhalten.

Bei Apple und Google gibt es bereits getrennte Steuerungsmöglichkeiten. Apple bietet den zusätzlichen User-Agent Applebot-Extended, den Publisher per robots.txt vom Training der Foundation-Modelle ausschließen können. Applebot selbst darf dabei weiterhin für Spotlight, Siri oder Safari crawlen. Apple nennt ferner nosnippet als Steuerung für generative Antworten, die Inhalte aus dem Web einbeziehen. Apples Dokumentation zu Applebot beschreibt diese Trennung.

Google verwendet Google-Extended für die Steuerung der Nutzung von Inhalten zum Training generativer Modelle. Die Sperre betrifft laut Google nicht die Aufnahme in die klassische Websuche. Zusätzlich stellt Google in der Search Console Berichte zu Suchergebnissen und KI-Funktionen bereit. Die grundsätzliche Möglichkeit, Googles KI-Crawler getrennt auszusperren, besteht seit 2023.

Bei Bing ist die Lage nach Cloudflares Angaben noch nicht so weit. Microsoft akzeptiere derzeit NOARCHIVE als Präferenz und arbeite an einer robots.txt-basierten „No Training“-Regel auf Domain-Ebene. Sie soll aber erst Anfang 2027 kommen. Bis dahin übermittelt Cloudflares neue Einstellung an Bing keine automatische Trainingssperre über die robots.txt; Betreiber müssen für Bing zusätzliche Mittel wie dessen Werkzeuge zum Sperren oder Entfernen von URLs einsetzen.

Einordnung: zentrale Verwaltung statt neuer Grundfunktion

Cloudflare erfindet das Trennen von Suchindexierung und KI-Training nicht neu. Google, Apple und OpenAI hatten dafür schon eigene Bot-Kennungen und robots.txt-Regeln eingeführt. OpenAI stellte beispielsweise bereits 2023 den Trainingscrawler GPTBot vor, den Betreiber getrennt von anderen Crawlern sperren konnten.

Neu ist jedoch die Zusammenführung im Cloudflare-Dashboard für den schwierigen Fall der Mehrzweck-Crawler. Der CDN-Anbieter kombiniert eine veröffentlichte Präferenz mit eigener Bot-Erkennung und blockiert reine Trainingsbots technisch. Die Regel für gemischte Bots bleibt jedoch auf die Kooperation ihrer Betreiber angewiesen: Eine robots.txt ist keine Zugangskontrolle, sondern eine maschinenlesbare Verhaltensvorgabe. Cloudflares angekündigte, zentral steuerbare Begrenzung für KI-Zusammenfassungen ist ebenfalls noch Zukunftsmusik; das Unternehmen nennt dafür Anfang 2027 als Verfügbarkeitsziel.