robots.txt für KI-Training: Wie Unternehmen ab 2027 steuern, was KI mit ihrer Website macht

• Ein am 30. Oktober 2026 eingereichter Internet-Draft bei der IETF beschreibt ein gemeinsames Signal in der robots.txt, mit dem Website-Betreiber der Nutzung ihrer Inhalte für KI-Training widersprechen können.
• Microsoft berücksichtigt dieses Signal für Bing laut eigener Ankündigung ab dem 1. Februar 2027, Google hat seine Unterstützung im Search Central Blog angekündigt.
• Microsoft trennt zwei Entscheidungen: KI-Training und Grounding, also die Nutzung von Inhalten für KI-Antworten etwa in Copilot und Microsoft 365.
• Wer bisher NoArchive oder NoCache nutzt, muss bis zum 1. März 2027 handeln, danach wertet Bing diese Angaben nicht mehr als Präferenz für Training oder Grounding.
• Ein Widerspruch gegen KI-Training ändert laut Microsoft nichts an der Aufnahme in die klassischen Bing-Suchergebnisse.

Bisher mussten Website-Betreiber in der robots.txt jeden KI-Crawler einzeln ausschließen, wenn sie nicht wollten, dass ihre Inhalte in das Training von KI-Modellen fließen, denn jeder Anbieter verwendet eigene Crawler-Namen. Ein gemeinsames Signal soll das vereinfachen: eine einzige Angabe in der robots.txt, die alle teilnehmenden KI-Anbieter auswerten.

Grundlage ist der Internet-Draft „Machine-Readable Training Preference Signal“, der am 30. Oktober 2026 bei der IETF veröffentlicht wurde. Der Verfasser ist laut IETF-Datenbank bei Anthropic tätig. Es handelt sich um einen Einzelentwurf, also noch nicht um einen verabschiedeten IETF-Standard.

Der Entwurf führt keinen neuen Befehl ein, sondern einen festen Namen, der wie ein Crawler in der robots.txt steht: „__usage_ai-training“. Darunter gelten die bekannten Regeln:

• Disallow für einen Pfad bedeutet: Inhalte unter diesem Pfad sollen nicht für KI-Training genutzt werden.
• Allow bedeutet: Training ist ausdrücklich erlaubt.
• Fehlt der Eintrag, ist keine Präferenz ausgedrückt. Regeln für alle Crawler (User-Agent „*“) zählen dafür nicht.

Wichtig für die Einordnung: Das Signal ist eine Präferenz und keine technische Sperre. Laut Entwurf steuert es nicht das Crawling selbst, und private Vereinbarungen zwischen Website-Betreiber und KI-Anbieter haben Vorrang.

Microsoft hat am 30. Oktober 2026 im Bing-Blog beschrieben, wie Bing das Signal umsetzt. Die neuen Präferenzen gelten ab dem 1. Februar 2027, sobald Bing eine Seite neu erfasst. Microsoft unterscheidet dabei zwei Dinge:

• KI-Training: die Nutzung von Inhalten, um die gelernten Parameter eines KI-Modells zu verändern. Steuerbar über die robots.txt für die ganze Website oder einzelne Pfade, zusätzlich über ein Meta-Tag oder einen HTTP-Header für einzelne Seiten. Die Angabe auf der Seite hat Vorrang vor der robots.txt.
• Grounding: die Nutzung von Inhalten als Grundlage für KI-Antworten. Diese Einstellung gibt es nur pro Seite, nicht in der robots.txt.

Beim Grounding bietet Microsoft drei Stufen. Ohne Angabe ist alles erlaubt. Mit „disallowextended“ bleiben Ihre Inhalte in Microsoft-eigenen Angeboten wie Copilot, Microsoft 365 und den KI-Antworten der Suche nutzbar, aber nicht in Grounding-Diensten, die Microsoft Dritten anbietet, etwa Web IQ oder der Grounding-Schnittstelle von Foundry. Mit „disallow“ werden Ihre Inhalte für KI-Antworten gar nicht mehr genutzt, auch nicht in Copilot.

Laut Microsoft ändern diese Einstellungen nichts daran, ob eine Seite in den klassischen Bing-Suchergebnissen erscheinen kann. Auch Google hat im Search Central Blog angekündigt, das gemeinsame Signal für KI-Training zu unterstützen.

Bing hat bisher die Angaben NoArchive und NoCache auch für die Nutzung durch KI berücksichtigt. Die neuen Präferenzen ersetzen sie: Laut Microsoft wertet Bing diese Angaben ab dem 1. März 2027 nicht mehr als Präferenz für Training oder Grounding. Wer seine Einschränkungen behalten will, sollte bis dahin auf die neuen Angaben umstellen.

Für das Grounding gibt es eine Übergangslösung: Ab dem 15. Dezember 2026 können Websites, die NoArchive oder NoCache verwenden, in den Bing Webmaster Tools eine vorübergehende Präferenz hinterlegen. Sie gilt bis zur nächsten Erfassung der Seite, längstens bis zum 30. September 2027. Für das KI-Training gibt es keine solche Übergangslösung.

Für die meisten Unternehmen ist die Frage nicht technisch, sondern strategisch:

1. Training erlauben oder nicht? Wer eigene Fachinhalte, Preise oder Know-how auf der Website hat, kann dem Training widersprechen, ohne die Sichtbarkeit in der klassischen Bing-Suche zu verlieren.
2. In KI-Antworten sichtbar bleiben? Wenn Kunden in Copilot oder in KI-Antworten der Suche nach Ihren Leistungen fragen, entscheidet das Grounding darüber, ob Ihre Website dort als Quelle dienen kann. Ein pauschales „disallow“ kann Sie dort unsichtbar machen.
3. Bestehende Einstellungen prüfen: Steht NoArchive oder NoCache auf Ihren Seiten, sollten Sie vor dem 1. März 2027 klären, was künftig gelten soll.
4. Regel in der KI-Richtlinie festhalten: Die Entscheidung gehört in die interne KI Governance, damit Marketing, IT und Geschäftsführung dieselbe Linie vertreten.

Die InSys AG^® begleitet Unternehmen in der KI-Beratung bei solchen Grundsatzfragen und bei der Einführung von Microsoft 365 Copilot, damit eigene Inhalte dort ankommen, wo Kunden heute suchen.