Cloudflare löst den Konflikt zwischen SEO und KI-Training
Website-Betreiber mussten sich bei bestimmten Crawlern bislang zwischen Reichweite und Kontrolle entscheiden. Google, Apple und Microsoft verwenden sogenannte Mixed-Use-Crawler. Dabei übernimmt derselbe Bot sowohl die Indexierung für Suchmaschinen als auch Aufgaben rund um das KI-Training.
Wer einen solchen Crawler vollständig blockiert, verhindert nicht nur die Nutzung der Inhalte für Trainingszwecke. Auch die Sichtbarkeit in klassischen Suchergebnissen kann darunter leiden. Cloudflare führt deshalb die Einstellung Disallow AI Training ein.
Die neue Einstellung soll Suchmaschinen den Zugriff weiterhin erlauben, während die Verwendung derselben Inhalte für das KI-Training abgelehnt wird.
So funktioniert Disallow AI Training
Cloudflare veröffentlicht über Bot Preference Sync passende Anweisungen in der robots.txt einer Domain. Dazu gehören Direktiven für Trainingsdienste wie Google-Extended und Applebot-Extended. Die eigentlichen Suchcrawler bleiben zugelassen.
Cloudflare stuft Apple, Google und Microsoft als Accountable ein. Damit bezeichnet der Anbieter Unternehmen, die entsprechende Kontrollmöglichkeiten bereits anbieten oder deren Einführung innerhalb eines genannten Zeitraums zugesagt haben. Dazu gehört auch die Zusicherung, dass ein Trainings-Opt-out das klassische Suchranking nicht beeinträchtigt.
Eine robots.txt ist allerdings keine technische Zugriffssperre. Ob die dort hinterlegten Regeln eingehalten werden, hängt zunächst vom jeweiligen Bot-Betreiber ab. Cloudflare kann bekannte Crawler zusätzlich anhand ihres Netzwerkverhaltens klassifizieren und nicht zugelassene Trainingscrawler blockieren, eine vollständige technische Kontrolle über externe Anbieter entsteht dadurch jedoch nicht.
Welche Crawler betroffen sind
| Anbieter | Crawler-Modell | Umgang mit dem Trainings-Opt-out |
|---|---|---|
| Gemischte Nutzung | robots.txt-Direktiven wie Google-Extended | |
| Apple | Gemischte Nutzung | robots.txt-Direktiven wie Applebot-Extended |
| Microsoft | Gemischte Nutzung | Derzeit NOARCHIVE-Meta-Tag, robots.txt-Unterstützung für Anfang 2027 geplant |
| Amazon, Anthropic, Meta und OpenAI | Suche und Training getrennt | Reine Trainingscrawler können blockiert werden, ohne die Suche zu beeinträchtigen |
Microsoft stellt dabei eine wichtige Ausnahme dar. Für Bing funktioniert das Opt-out über robots.txt noch nicht automatisch. Microsoft verweist vorerst auf das NOARCHIVE-Meta-Tag und plant die Unterstützung von No-Training-Präferenzen auf Domainebene erst für Anfang 2027.
Cloudflare ersetzt die bisherige Pauschalsperre
Ab dem 15. September wird die bisherige Funktion Block AI Bots durch getrennte Kontrollen für Search, Training und Agent ersetzt. Auch Managed Robots.txt wird zugunsten von Bot Preference Sync eingestellt. Bestehende Domains sollen automatisch auf die neue Struktur migriert werden.
| Einstellung | Auswirkung |
|---|---|
| Allow | Crawler bleiben erlaubt, sofern keine andere Regel oder Web Application Firewall greift |
| Disallow AI Training | Suchzugriff bleibt möglich, Trainingspräferenzen werden in der robots.txt veröffentlicht, andere Trainingscrawler werden blockiert |
| Block on pages with ads | Crawler werden nur auf Seiten blockiert, auf denen Cloudflare Werbung erkennt |
| Block | Alle betroffenen Crawler werden gesperrt, einschließlich ihrer Suchfunktion |
Die Bedeutung der Trennung zeigen Cloudflares eigene Zahlen. Weniger als 1 % der über das Netzwerk laufenden Websites blockieren Suchmaschinen-Bots. Mechanismen gegen KI-Training sind dagegen bei 17 % aktiviert.
| Kennzahl | Anteil |
|---|---|
| Websites, die Suchmaschinen-Bots blockieren | Weniger als 1 % |
| Websites mit Mechanismen gegen KI-Training | 17 % |
KI-Zusammenfassungen werden zum nächsten Konflikt
Die Trennung von Suche und Training löst nur einen Teil des Problems. Suchmaschinen und KI-Dienste können Inhalte auch direkt in automatisch erzeugten Zusammenfassungen anzeigen. Für Publisher ist dabei nicht nur entscheidend, ob Inhalte erscheinen, sondern auch, wie große Teile einer Seite übernommen werden.
Cloudflare plant für Anfang des kommenden Jahres eine zentrale Steuerung für solche KI-Zusammenfassungen. Website-Betreiber sollen dann festlegen können, wie viel Inhalt verwendet werden darf, ohne diese Vorgabe bei jedem Anbieter einzeln zu konfigurieren. Für denselben Zeitraum sind bei Apple Werkzeuge vorgesehen, die auf URL-Ebene transparenter machen sollen, welche Seiten für Trainingszwecke bereitgestellt wurden.
Der wirtschaftliche Hintergrund ist erheblich. Geschäftsmodelle mit Werbung, Abonnements oder direkter Kundenbeziehung funktionieren nur, wenn Nutzer tatsächlich die Ursprungsseite besuchen. Umfangreiche KI-Antworten können diesen Besuch ersetzen, ähnlich wie die massenhafte Verwendung von Inhalten durch Perplexity auf automatisierten Vergleichsseiten neue Fragen zur Kontrolle über Webinhalte aufwirft.
Was die Änderung für Unternehmen im DACH-Raum bedeutet
Für Medienhäuser, Softwareanbieter und beratungsintensive Unternehmen ist die neue Trennung relevant. Viele sind auf Google und Bing als Vertriebskanäle angewiesen, wollen Fachartikel, Dokumentationen und unternehmenseigenes Wissen aber nicht automatisch für das Training fremder Modelle bereitstellen.
Das Thema betrifft nicht nur technische Konfigurationen, sondern auch Urheberrecht und Geschäftsmodelle. Die Klagen von Zeitungen gegen OpenAI wegen KI-Training zeigen, wie schnell fehlende Kontrollmöglichkeiten in rechtliche Auseinandersetzungen münden können. Gleichzeitig verdeutlichen Angebote wie der Meta-Rabatt im Austausch gegen Trainingsdaten, dass Inhalte und Nutzungsdaten einen direkten wirtschaftlichen Wert besitzen.
Cloudflare positioniert sich als Vermittler zwischen Website-Betreibern und großen Plattformen. Das vereinfacht die Verwaltung, schafft aber zugleich eine zusätzliche Abhängigkeit von einem Infrastruktur-Anbieter. Unternehmen sollten deshalb nicht nur den Schalter aktivieren, sondern die veröffentlichten robots.txt-Regeln, Meta-Tags und tatsächlichen Crawler-Zugriffe regelmäßig prüfen.
Die neue Kontrolle macht sichtbar, wie problematisch gebündelte Plattformfunktionen sind. Wenn Suchindexierung und KI-Training technisch an denselben Bot gekoppelt werden, entsteht ein Machtgefälle. Granulare Regeln sind daher ein sinnvoller Schritt, ersetzen aber keine eigene Strategie für Datenhoheit, Zugriffskontrolle und die Durchsetzung von Nutzungsbedingungen.