robots.txt auf Diät: Ein einziger Befehl soll alle KI-Trainer stoppen

Google will ab 2027 ein gemeinsames Steuersignal in der Datei robots.txt unterstützen, mit dem Website-Betreiber der Nutzung ihrer Inhalte für das Training von KI-Modellen zentral widersprechen können. Statt für jeden KI-Anbieter einzelne Sperrregeln zu pflegen, soll ein übergreifendes Policy-Token ausreichen, um die eigenen Präferenzen in einem Schritt gegenüber mehreren KI-Entwicklern zu hinterlegen. Die Neuerung stützt sich auf Vorarbeiten der Arbeitsgruppe AI Preferences (AIPREF) bei der Standardisierungsorganisation IETF.

Die im Wurzelverzeichnis eines Webservers abgelegte Textdatei robots.txt regelt bereits seit 1994 nach dem in RFC 9309 standardisierten Robots Exclusion Protocol, auf welche Verzeichnisse und Pfade automatisierte Webcrawler zugreifen dürfen. Ursprünglich steuerten Administratoren damit vor allem Suchmaschinen-Bots, um die Serverlast zu begrenzen oder bestimmte Bereiche von der Indexierung auszuschließen. Mit dem Aufkommen großer Sprachmodelle dient die Datei außerdem als maschinenlesbarer Nutzungsvorbehalt gegen das ungefragte Abgreifen von Trainingsdaten. Technische Zugriffssperren ersetzt die Datei allerdings nicht: Sie formuliert Vorgaben, an die sich kooperative Crawler freiwillig halten, während manche Anbieter die Vorgaben der robots.txt ignorieren.

Ein Policy-Token statt langer Sperrlisten

Laut Google Search Central Blog geht der Schritt auf Rückmeldungen von Publishern, Regulierungsbehörden und Zivilgesellschaft zurück, die branchenweite Kontrollmechanismen gefordert hatten. Bisher müssen Administratoren in ihrer robots.txt jeden KI-Crawler oder jedes herstellerspezifische Token einzeln hinterlegen: zum Beispiel GPTBot für OpenAI, ClaudeBot für Anthropic oder Googles eigenes, seit 2023 angebotenes Token Google-Extended.

Der zugrundeliegende IETF-Entwurf führt dafür keine neue Syntax in das Robots Exclusion Protocol ein, sondern nutzt die bestehende User-Agent-Zeile für ein gemeinsames Policy-Token (__usage_ai-training). Anders als klassische Einträge steht dieses Token nicht für einen konkreten HTTP-Crawler, der sich im Header mit diesem Namen meldet, sondern definiert den Verwendungszweck für alle teilnehmenden KI-Anbieter. Ein globaler Widerspruch gegen das KI-Training mit Ausnahme eines einzelnen Verzeichnisses sieht nach dem Entwurf beispielsweise so aus:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Parser, die das neue Token nicht kennen, ignorieren den Block gemäß RFC 9309 einfach als unbekannten User-Agent. Teilnehmende KI-Anbieter werten die Pfadregeln hingegen aus, um festzustellen, welche Inhalte einer Website sie für das Training ihrer Modelle heranziehen dürfen.

Zusammenspiel mit Google

Bestehende unternehmensspezifische Steuerungen sollen laut Google parallel erhalten bleiben. Dadurch können Website-Betreiber eine pauschale Grundentscheidung über das gemeinsame Policy-Token treffen und diese bei Bedarf für einzelne Anbieter überschreiben. Widerspricht eine Website dem KI-Training über das neue gemeinsame Token und macht dabei keine expliziten Angaben zu Google-Extended, wertet Google dies automatisch so, als hätte der Betreiber Google-Extended per Disallow gesperrt.

Wer hingegen Google-Extended ausdrücklich erlaubt, schaltet seine Inhalte nicht nur für das Training frei: Laut Google ist diese explizite Freigabe auch die Voraussetzung dafür, dass Websites über das sogenannte Grounding in Antworten von Gemini-Apps auftauchen und darüber Klicks erhalten können. Beim Grounding verknüpft das Sprachmodell seine generierten Antworten zur Laufzeit mit aktuellen Webquellen, um Fakten zu belegen und weiterführende Links auszuspielen.

Standardisierung bei der IETF und EU AI Act

Inhaltlich stützt sich das neue Signal auf die Definition von KI-Training, die die IETF-Arbeitsgruppe AIPREF ausgearbeitet hat. Während die Diskussionen der verschiedenen Interessengruppen über das restliche AIPREF-Vokabular – etwa zur feingranularen Unterscheidung weiterer KI-Verwendungszwecke – noch andauern, soll der Entwurf Website-Betreibern bereits vorab Zugang zu einem einheitlichen Präferenzsignal verschaffen.

Laut Google steht der Vorschlag zudem im Einklang mit dem Verhaltenskodex der EU für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck im Rahmen des EU AI Act. Dieser erkennt die robots.txt als primäre Methode an, mit der Web-Publisher ihre maschinenlesbaren Nutzungsvorbehalte ausdrücken können. Google möchte den Vorschlag gemeinsam mit den beteiligten Akteuren in der IETF-Arbeitsgruppe weiter ausarbeiten. Ab 2027 wollen das Unternehmen und andere KI-Anbieter das neue Steuersignal dann regulär auswerten.