Was ändert sich mit dem gemeinsamen KI-Trainingssignal?

Website-Betreiber können KI-Training künftig mit einer einzigen robots.txt-Gruppe für mehrere Anbieter gleichzeitig ablehnen: User-Agent: __usage_ai-training. Google, Microsoft, OpenAI und Anthropic haben am 30. Oktober 2026 angekündigt, dieses Signal zu unterstützen. Google will es Anfang 2027 umsetzen, Microsoft ab dem 1. Februar 2027, OpenAI „in den kommenden Monaten“. Anthropic hat nach eigenen Angaben bereits mit der Umsetzung begonnen.

Die Nachricht wird als Vereinfachung gefeiert, und das ist sie auch. Für Unternehmen mit nennenswerter Sichtbarkeit in KI-Antworten steckt der eigentliche Handlungsbedarf aber im Kleingedruckten: Das Signal regelt Training, nicht die Nutzung Ihrer Inhalte für KI-Antworten. Bei Google kann es trotzdem auf Gemini-Antworten durchschlagen. Und wer bei Bing bisher NoArchive oder NoCache nutzt, verliert diese Einschränkungen zum 1. März 2027, wenn er nichts unternimmt.

Wie sieht das Signal technisch aus?

Grundlage ist der Internet-Draft „Machine-Readable Training Preference Signal“, eingereicht am 30. Oktober 2026 von Kevin Kelley (Anthropic). Er baut auf der Arbeit der IETF-Arbeitsgruppe AIPREF auf und erfindet keine neue Syntax. Er nutzt den bestehenden robots.txt-Standard RFC 9309 mit einem sogenannten Policy-Token anstelle eines Crawlernamens:

User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

Das Beispiel bedeutet: kein KI-Training mit Inhalten dieser Website, mit Ausnahme des Pressebereichs. Die wichtigsten Regeln aus dem Draft:

  • Es ist eine Nutzungspräferenz, keine Crawling-Regel. Ob ein Bot eine Seite abrufen darf, regeln weiterhin die Gruppen für seinen eigenen Namen, etwa Googlebot oder Bingbot.
  • User-Agent: * zählt nicht. Ein allgemeines Disallow drückt keine Trainingspräferenz aus. Fehlt eine Gruppe für __usage_ai-training, ist schlicht keine Präferenz erklärt.
  • Pfadlogik wie gewohnt. Es gilt die längste passende Regel, wie bei jedem robots.txt-Eintrag.
  • Spezifisch schlägt allgemein. Konkrete Angaben sollen Vorrang vor allgemeinen haben. Anbieter dürfen ihre eigenen Tokens wie Google-Extended als spezifischer behandeln, und individuelle Vereinbarungen dürfen die Präferenz übersteuern.
Einordnung

Der Draft ist eine Einzeleinreichung ohne formellen IETF-Status. Nate Hake, der an der AIPREF-Arbeit beteiligt ist, weist laut Search Engine Roundtable darauf hin, dass auf IETF-Ebene noch wesentliche Streitpunkte offen sind. Die Unterstützung der vier Anbieter ist freiwillig. Für Unternehmen heißt das: jetzt vorbereiten und dokumentieren, aber Details bis zur Umsetzung im Blick behalten.

Was haben die einzelnen Anbieter zugesagt?

  • Google: Laut Search Central Blog und Crawler-Dokumentation will Google das Signal Anfang 2027 unterstützen. Wer per Token widerspricht und Google-Extended nicht ausdrücklich regelt, wird so behandelt, als hätte er Google-Extended gesperrt.
  • Microsoft: Bing berücksichtigt das Signal ab 1. Februar 2027 und führt zusätzlich eine eigene Grounding-Präferenz auf Seitenebene ein (Details unten).
  • OpenAI: will das Signal laut eigener Ankündigung in den kommenden Monaten umsetzen. Die bestehenden Crawler-Regeln, etwa für GPTBot, gelten weiter.
  • Anthropic: stellt den Autor des Drafts und hat laut dessen Nachricht an die IETF-Arbeitsgruppe mit der Umsetzung begonnen. Die Abdeckung aller Dienste werde Zeit brauchen.

Warum ist Training nicht dasselbe wie Grounding?

Hier liegt das größte Missverständnis. Training heißt: Ihre Inhalte fließen in die Entwicklung künftiger Modelle ein. Grounding heißt: Ein KI-System ruft Ihre Inhalte zum Zeitpunkt der Anfrage ab, um eine Antwort zu stützen, und verlinkt Sie im besten Fall als Quelle. Grounding ist der Mechanismus hinter Zitationen in Copilot, Gemini oder ChatGPT, also genau der Teil, um den es bei Generative Engine Optimization geht.

Das neue Signal betrifft nur Training. Wer es setzt, bleibt in der Regel in KI-Antworten sichtbar. Mit einer wichtigen Ausnahme bei Google.

Welche Nebenwirkung hat das Signal bei Google?

Google-Extended ist bei Google nicht nur ein Trainingsschalter. Laut Googles Crawler-Dokumentation steuert das Token auch das Grounding in Gemini Apps und in „Grounding with Google Search“ auf Vertex AI. Da Google ein Token-Opt-out ohne eigene Google-Extended-Regel als Google-Extended-Sperre wertet, kann eine pauschale Trainingssperre damit auch die Sichtbarkeit in Gemini-Antworten kosten. Google sagt selbst, dass Websites, die Google-Extended ausdrücklich erlauben, weiterhin in Gemini Apps erscheinen und darüber Klicks erhalten können.

Der Haken: Google-Extended trennt nicht zwischen Training und Grounding. Wer Google-Extended ausdrücklich erlaubt, um in Gemini zitiert zu werden, erlaubt nach heutiger Dokumentation zugleich das Training von Gemini-Modellen. Die saubere Trennung, die Microsoft jetzt einführt, gibt es bei Google bislang nicht. Unternehmen müssen sich bei Google also entscheiden, welches Ziel schwerer wiegt, und diese Abwägung sollte dokumentiert sein, bevor jemand die robots.txt anfasst.

Unberührt bleiben die Google-Suche selbst sowie AI Overviews und AI Mode. Für die beiden KI-Funktionen der Suche gibt es die separate Steuerung „Search generative AI“ in der Search Console, die ich im Beitrag KI-Opt-out in der Search Console eingeordnet habe. Wie teuer ein Opt-out dort sein kann, zeigt ein aktueller Kleintest von Cyrus Shepard: Nach dem Ausschluss einer Website aus AI Overviews und AI Mode sanken laut Search Engine Roundtable nicht nur die KI-Impressionen auf null, sondern auch die normalen organischen Klicks. Die Stichprobe ist klein, die Richtung aber ein Warnsignal gegen Pauschalentscheidungen.

Welche Frist läuft bei Bing ab?

Microsoft nutzt den Anlass für einen Umbau. Die 2023 eingeführten Tags NoArchive und NoCache, mit denen viele Publisher und Unternehmen die Nutzung in Bing Chat und Copilot eingeschränkt haben, werden durch neue Präferenzen ersetzt. Der Zeitplan laut Bing Blog:

  • 15. Dezember 2026: In den Bing Webmaster Tools wird eine temporäre Grounding-Einstellung verfügbar, nur für Websites, die zu diesem Zeitpunkt NoArchive oder NoCache verwenden.
  • 1. Februar 2027: Bing beginnt, die neuen Präferenzen beim Crawlen zu berücksichtigen.
  • 1. März 2027: Ab dann werden NoArchive und NoCache nicht mehr als Trainings- oder Grounding-Präferenz gelesen. Ohne temporäre Einstellung gilt für betroffene Seiten bis zum nächsten Crawl „Allow“ beim Grounding. Für Training gibt es keine temporäre Einstellung.
  • 30. September 2027: Die temporären Grounding-Einstellungen laufen aus.

Training lässt sich bei Bing zusätzlich pro Seite festlegen (ai-training:disallow), das übersteuert die Angabe in der robots.txt. Grounding steuert Bing dagegen nur auf Seitenebene, per Meta-Tag oder HTTP-Header, mit drei Stufen:

<meta name="Bingbot" content="ai-grounding:disallowextended">
X-Robots-Tag: Bingbot: ai-grounding:disallowextended
  • Allow (Standard): Inhalte dürfen Antworten stützen.
  • DisallowExtended: Grounding nur in Microsofts eigenen Produkten wie AI Mode, AI Overview, Copilot und Microsoft 365, nicht in Grounding-Diensten, die Microsoft Dritten anbietet, etwa Web IQ oder die Grounding-API in Foundry.
  • Disallow: kein Grounding. Microsoft weist ausdrücklich darauf hin, dass das die Sichtbarkeit in KI-Erlebnissen deutlich reduziert. Die klassischen Bing-Rankings bleiben unberührt.

Für Verlage und Datenanbieter ist DisallowExtended die interessanteste Neuerung: Sie erlaubt Sichtbarkeit in Copilot, ohne dass Inhalte über Microsoft in Produkte Dritter weiterverteilt werden.

Welcher robots.txt-Fehler sperrt versehentlich alle Crawler?

Das Policy-Token sieht aus wie ein Crawlername und wird auch so verarbeitet. Daraus entsteht ein Risiko, das ich für das wahrscheinlichste Implementierungsproblem halte: Nach RFC 9309 bilden aufeinanderfolgende User-Agent-Zeilen eine gemeinsame Gruppe, und zwar auch dann, wenn eine Leerzeile dazwischen steht. Wird die neue Zeile direkt unter eine bestehende User-Agent: *-Zeile gesetzt, bevor deren Regeln folgen, oder bleibt eine leere *-Gruppe stehen, gilt das Disallow: / für alle Crawler.

Eigene Prüfung

Getestet am 2. November 2026 mit zwei verbreiteten robots.txt-Parsern (Python urllib.robotparser und Protego 0.7.0, der Parser von Scrapy). Steht __usage_ai-training in einer eigenen Gruppe, bleiben Googlebot und Bingbot erlaubt, nur das Token wird gesperrt. Folgt die Token-Zeile direkt auf User-Agent: *, mit oder ohne Leerzeile dazwischen, gilt das Disallow: / in beiden Parsern auch für Googlebot, ohne Leerzeile zusätzlich geprüft auch für Bingbot. Das entspricht der Gruppendefinition in RFC 9309, Abschnitt 2.1.

Die Lösung ist einfach: das Token immer als eigene Gruppe am Ende der Datei anlegen und vor dem Deployment mit einem Testlauf gegen die wichtigsten Crawlernamen prüfen. In Konzernen mit mehreren Teams, CDN-Regeln und automatisch generierten robots.txt-Dateien gehört dieser Test in die Release-Checkliste.

Was sollten Unternehmen jetzt tun?

  • Entscheidung trennen: Training, Grounding und KI-Suchfunktionen sind drei verschiedene Fragen mit unterschiedlichen Folgen für Sichtbarkeit. Legen Sie für jede fest, wer im Unternehmen entscheidet, typischerweise Recht, Marketing und SEO gemeinsam.
  • Bestand erfassen: Prüfen Sie, ob Ihre Seiten NoArchive oder NoCache ausliefern, auch über HTTP-Header aus CDN oder Framework. Wenn ja, steht die Bing-Frist am 1. März 2027 in Ihrem Kalender.
  • Google-Extended bewusst setzen: Wer das gemeinsame Signal nutzt, sollte entscheiden, ob Google-Extended ausdrücklich erlaubt werden soll. Ohne Freigabe droht der Verlust von Gemini-Grounding, mit Freigabe ist Gemini-Training erlaubt.
  • Ausnahmen planen: Pressebereiche, Produktinformationen oder Studien, die gerade in KI-Systemen auftauchen sollen, lassen sich per Allow freigeben.
  • Wirkung messen: Die AI-Performance-Daten in den Bing Webmaster Tools zeigen, welche Seiten in KI-Antworten zitiert werden. Vor und nach jeder Änderung eine Baseline ziehen, wie im Beitrag zum Bing Topics Portfolio beschrieben.
  • Nicht mit llms.txt verwechseln: llms.txt ist eine Empfehlung zur Orientierung von Sprachmodellen, keine Nutzungspräferenz.

Fazit: ein Signal weniger Aufwand, eine Entscheidung mehr

Das gemeinsame Trainingssignal macht eine bisher mühsame Aufgabe einfacher: Statt jeden KI-Crawler einzeln zu pflegen, genügt eine Gruppe in der robots.txt. Es ersetzt aber keine Strategie. Wer Training ablehnt, sollte sicherstellen, dass er Grounding und Zitationen nicht gleich mit abschaltet. Bei Google hängt das an Google-Extended, bei Bing an den neuen Seiten-Präferenzen und an einer Frist, die am 1. März 2027 abläuft.

Mein Rat: Nutzen Sie die Zeit bis Februar für eine saubere Entscheidungsvorlage und ein Inventar der bestehenden Direktiven. Wenn Sie Unterstützung bei der Abwägung zwischen Schutz und Sichtbarkeit brauchen, helfe ich im Rahmen von GEO-Consulting und technischem SEO.