Eigene Forschung
Wie viele Websites sperren KI-Crawler aus?
Am 20. Oktober 2026 hatten 2,9 % der deutschsprachigen Websites im Curlie-Webverzeichnis eine Regel in der robots.txt, die den Trainings-Bot GPTBot von OpenAI von der Startseite fernhält. Bei OAI-SearchBot, dem Bot hinter der ChatGPT-Suche, waren es 1,5 %. Weitere 0,9 % lieferten statt einer robots.txt eine Fehlermeldung. Das ist eher ein Serverproblem als eine Entscheidung, hält Bots aber ebenfalls fern. Beliebte Websites weltweit haben viel öfter eine solche Regel.
Gemessen am 20. Oktober 2026
- der deutschsprachigen Websites im Curlie-Webverzeichnis haben eine Regel gegen GPTBot
- 2,9 %
- haben eine Regel gegen OAI-SearchBot (ChatGPT-Suche)
- 1,5 %
- haben eine Textdatei unter /llms.txt
- 7,4 %
Was wir getestet haben
Fast jede Website hat eine kleine Datei namens robots.txt. Darin steht, welche Seiten Bots besuchen dürfen. KI-Firmen sagen, dass ihre Bots sie lesen. Damit sagt eine Website also Ja oder Nein zu ihnen.
Wir haben diese Datei bei jeder Website unserer Stichprobe abgerufen und so gelesen, wie es der offizielle Standard (RFC 9309) für Bots vorschreibt. Für jeden KI-Bot haben wir eine Frage gestellt: Darf er die Startseite öffnen?
Eine Datei kann auf zwei Arten Nein sagen: mit einer Regel, die den Bot beim Namen nennt, oder mit einer Regel für alle Bots (User-agent: *). Und wenn die Datei selbst einen Serverfehler liefert, müssen Bots laut Standard ganz wegbleiben. Wir zählen alle drei Fälle und zeigen sie getrennt.
Welche KI-Bots gesperrt werden, und wo
Jede Tabelle zeigt pro Bot den Anteil der Websites, deren robots.txt ihn von der Startseite fernhält. Beliebte Websites sperren KI-Bots etwa dreimal so oft wie niederländisch- und deutschsprachige Websites aus dem Verzeichnis. Bei beliebten Websites werden Trainings-Bots öfter gesperrt als die Bots, die Seiten für die KI-Suche abrufen.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 Million | Niederländischsprachig | Deutschsprachig |
|---|---|---|---|---|---|
| GPTBot | 12,9 %11,1 %–14,9 % | 10,8 %9,2 %–12,6 % | 12,6 %10,9 %–14,6 % | 3,6 %2,8 %–4,7 % | 3,8 %3 %–5 % |
| ClaudeBot | 12,6 %10,9 %–14,6 % | 9,1 %7,6 %–10,8 % | 12,2 %10,6 %–14,2 % | 3,7 %2,8 %–4,8 % | 3,1 %2,3 %–4,1 % |
| CCBot | 14 %12,2 %–16,1 % | 9,6 %8,1 %–11,4 % | 9,6 %8,1 %–11,3 % | 3,3 %2,5 %–4,3 % | 3,3 %2,5 %–4,3 % |
| Google-Extended | 11,1 %9,4 %–13 % | 7,7 %6,4 %–9,3 % | 11,1 %9,5 %–13 % | 2,9 %2,2 %–3,9 % | 3 %2,2 %–4 % |
| Applebot-Extended | 11,2 %9,6 %–13,1 % | 8,1 %6,7 %–9,7 % | 11,2 %9,6 %–13,1 % | 2,6 %1,9 %–3,6 % | 2,9 %2,2 %–3,9 % |
| meta-externalagent | 10,9 %9,3 %–12,8 % | 8,4 %7 %–10,1 % | 11,2 %9,6 %–13,1 % | 3,1 %2,3 %–4,2 % | 3,6 %2,8 %–4,7 % |
| Bytespider | 13,7 %11,9 %–15,7 % | 9,8 %8,3 %–11,5 % | 9,1 %7,6 %–10,8 % | 4,1 %3,1 %–5,2 % | 3,6 %2,8 %–4,7 % |
| Amazonbot | 10,8 %9,1 %–12,6 % | 8,1 %6,7 %–9,7 % | 12,1 %10,4 %–14 % | 3,8 %2,9 %–4,9 % | 3 %2,2 %–4 % |
| Gezählte Websites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 Million | Niederländischsprachig | Deutschsprachig |
|---|---|---|---|---|---|
| OAI-SearchBot | 7,4 %6,1 %–9 % | 4,7 %3,7 %–6 % | 8,4 %7 %–10 % | 2,6 %1,9 %–3,6 % | 2,4 %1,8 %–3,4 % |
| ChatGPT-User | 8,5 %7 %–10,2 % | 6,6 %5,4 %–8,1 % | 9,6 %8,1 %–11,4 % | 3 %2,2 %–4 % | 2,8 %2,1 %–3,8 % |
| Claude-SearchBot | 6,8 %5,5 %–8,3 % | 4,5 %3,5 %–5,8 % | 8,3 %6,9 %–9,9 % | 2,6 %1,9 %–3,5 % | 2,4 %1,8 %–3,4 % |
| Claude-User | 6,7 %5,4 %–8,2 % | 4,6 %3,6 %–5,9 % | 8,3 %6,9 %–9,9 % | 2,4 %1,7 %–3,4 % | 2,4 %1,7 %–3,3 % |
| PerplexityBot | 9,9 %8,3 %–11,7 % | 5,5 %4,4 %–6,9 % | 9,3 %7,8 %–11 % | 2,8 %2 %–3,8 % | 2,7 %1,9 %–3,6 % |
| Perplexity-User | 7,3 %6 %–8,9 % | 4,3 %3,3 %–5,5 % | 8,1 %6,8 %–9,8 % | 2,6 %1,9 %–3,5 % | 2,6 %1,9 %–3,5 % |
| Gezählte Websites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 Million | Niederländischsprachig | Deutschsprachig |
|---|---|---|---|---|---|
| Googlebot | 3,6 %2,7 %–4,8 % | 2,4 %1,7 %–3,4 % | 3,6 %2,7 %–4,8 % | 1,8 %1,2 %–2,6 % | 2,2 %1,5 %–3,1 % |
| bingbot | 3,9 %3 %–5,1 % | 3,3 %2,5 %–4,4 % | 4,5 %3,5 %–5,8 % | 2,4 %1,7 %–3,3 % | 2,4 %1,8 %–3,4 % |
| Gezählte Websites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
Unter jedem Anteil steht seine Spanne: Mit 95 % Sicherheit liegt der echte Anteil zwischen diesen beiden Zahlen. Spalte 1-3 sind beliebte Websites nach Rang in der Tranco-Liste, Spalte 4-5 niederländisch- und deutschsprachige Websites aus dem Curlie-Webverzeichnis.
Wie Websites Nein sagen
Von den deutschsprachigen Websites, die GPTBot aussperren, nutzen 41,8 % eine Regel, die GPTBot beim Namen nennt. Bei 34,5 % erledigt das nur die Regel für alle Bots, vielleicht ohne dass der Betreiber je an KI gedacht hat. Bei 23,6 % liefert robots.txt einen Serverfehler, und das zählt als vollständige Sperre.
Das ist beim Zählen wichtig. Eine Prüfung, die nur nach dem Namen eines Bots sucht, übersieht die zweite Gruppe. Eine frühere Seite von uns beruhte genau auf so einer Prüfung, deshalb haben wir sie offline genommen und neu gemessen.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 Million | Niederländischsprachig | Deutschsprachig |
|---|---|---|---|---|---|
| Eine Regel, die GPTBot nennt | 8,9 %7,4 %–10,6 % | 7,6 %6,2 %–9,1 % | 5,4 %4,3 %–6,8 % | 1,4 %0,9 %–2,2 % | 1,6 %1,1 %–2,4 % |
| Nur die Regel für alle Bots (*) | 2,9 %2,1 %–3,9 % | 2,2 %1,5 %–3,2 % | 5,7 %4,5 %–7,1 % | 1,3 %0,8 %–2 % | 1,3 %0,9 %–2,1 % |
| robots.txt liefert einen Serverfehler | 1,1 %0,7 %–1,9 % | 1 %0,6 %–1,7 % | 1,6 %1 %–2,4 % | 0,9 %0,5 %–1,6 % | 0,9 %0,5 %–1,5 % |
| Gezählte Websites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
Trainings-Bots gegen Such-Bots
OpenAI nutzt zwei Bots. GPTBot sammelt Inhalte fürs Training, OAI-SearchBot findet Seiten für die ChatGPT-Suche. Von den deutschsprachigen Websites, die GPTBot sperren, lassen 36,4 % OAI-SearchBot weiterhin herein.
Dieser Anteil enthält auch Websites, deren robots.txt eine Fehlermeldung lieferte, und die halten OAI-SearchBot ebenfalls fern. Von den Websites mit einer Regel gegen GPTBot lassen 47,6 % OAI-SearchBot herein (explorativ).
Das wirkt wie eine bewusste Entscheidung. Laut OpenAI erscheinen Websites, die OAI-SearchBot sperren, nicht in den Suchantworten von ChatGPT, während das Sperren von GPTBot allein das nicht bewirkt.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 Million | Niederländischsprachig | Deutschsprachig |
|---|---|---|---|---|---|
| Sperren mindestens einen KI-Bot | 17,2 %15,2 %–19,4 % | 13,3 %11,5 %–15,3 % | 15,5 %13,6 %–17,6 % | 5,2 %4,2 %–6,5 % | 4,4 %3,5 %–5,6 % |
| Sperren jeden KI-Bot unserer Liste | 4,3 %3,3 %–5,6 % | 3,1 %2,3 %–4,2 % | 4 %3,1 %–5,3 % | 2,3 %1,6 %–3,2 % | 2,2 %1,6 %–3,1 % |
| Gezählte Websites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 Million | Niederländischsprachig | Deutschsprachig |
|---|---|---|---|---|---|
| Lassen OAI-SearchBot weiter zu | 42,4 %35 %–50,2 % | 56,2 %47,8 %–64,2 % | 33,8 %26,9 %–41,4 % | 29,4 %18,7 %–43 % | 36,4 %24,9 %–49,6 % |
| Websites, die GPTBot sperren (n) | 158 | 137 | 160 | 51 | 55 |
llms.txt: Wer hat eine?
Eine llms.txt-Datei ist eine kurze Zusammenfassung einer Website für KI-Tools, in Markdown geschrieben. Sie ist ein Vorschlag, kein Standard. Google sagt, dass die Google-Suche sie ignoriert. Mehr dazu in unserem Leitfaden zu llms.txt, oder prüfen Sie Ihre eigene Datei mit unserem llms.txt-Checker.
7,4 % der deutschsprachigen Websites haben eine Textdatei unter /llms.txt. Vorsicht vor Doppelgängern: 9,6 % antworten mit einer normalen Webseite. Von den Textdateien bestehen 94,1 % die einfache llms.txt-Prüfung von Chrome Lighthouse.
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 Million | Niederländischsprachig | Deutschsprachig |
|---|---|---|---|---|---|
| Haben eine Textdatei unter /llms.txt | 13,4 %11,6 %–15,5 % | 12,4 %10,6 %–14,4 % | 13,5 %11,7 %–15,6 % | 5,8 %4,7 %–7,2 % | 7,4 %6,1 %–8,9 % |
| Haben eine Textdatei, die die Lighthouse-Prüfung besteht | 11,2 %9,5 %–13,2 % | 10,6 %9 %–12,5 % | 11,4 %9,7 %–13,4 % | 5,4 %4,4 %–6,8 % | 7 %5,8 %–8,5 % |
| Liefern eine Webseite (keine echte Datei) | 13,2 %11,3 %–15,2 % | 13,5 %11,6 %–15,5 % | 13,9 %12,1 %–16,1 % | 12,7 %11,1 %–14,6 % | 9,6 %8,2 %–11,3 % |
| Websites mit Antwort (n) | 1.148 | 1.196 | 1.147 | 1.360 | 1.375 |
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 Million | Niederländischsprachig | Deutschsprachig |
|---|---|---|---|---|---|
| Bestehen die llms.txt-Prüfung von Chrome Lighthouse | 83,8 %77,1 %–88,8 % | 85,8 %79,3 %–90,5 % | 84,5 %78 %–89,4 % | 93,7 %86 %–97,3 % | 94,1 %87,8 %–97,3 % |
| Folgen dem llmstxt.org-Format ohne Fehler | 49,4 %41,6 %–57,2 % | 48,6 %40,7 %–56,6 % | 27,7 %21,3 %–35,3 % | 54,4 %43,5 %–65 % | 55,9 %46,2 %–65,1 % |
| Websites mit einer Textdatei (n) | 154 | 148 | 155 | 79 | 102 |
Die meisten Dateien, die das llmstxt.org-Format verletzen, nennen Seiten ohne Link oder beginnen nicht mit einer Titelzeile. Manche "Dateien" sind nur eine Fehlermeldung oder das Wort ok.
Andere Studien kommen auf andere Zahlen, weil sie anders zählen. Der Web Almanac 2025 fand eine gültige llms.txt auf etwa 2,1 % aller Websites, die er crawlt. Ahrefs (Herstellerdaten) zählte 28 % von 137.210 Domains seiner eigenen Analytics-Kunden, nach eigener Aussage eine Obergrenze, und stellte fest, dass 97 % dieser Dateien im Mai 2026 keine einzige Anfrage bekamen. SE Ranking (Herstellerdaten) fand eine llms.txt auf 10 % von rund 300.000 Domains.
Was das nicht beweist
- robots.txt ist eine Bitte, kein Schloss. Viele Websites halten Bots zusätzlich mit einer Firewall oder einer CDN-Einstellung ab. Wir lesen nur, was in der Datei steht.
- Wir sind nicht GPTBot. Eine Website kann KI-Bots anders antworten als unserem Bot, und manche Websites sperren unbekannte Bots ganz.
- Wir haben nur den Zugang zur Startseite geprüft. Eine Website kann die Startseite erlauben und alles andere sperren.
- Das ist eine Momentaufnahme von einem Tag. Sie zeigt keinen Trend. Websites ändern ihre Dateien ständig.
- Sie sagt nichts darüber, ob Sperren (oder eine llms.txt) ändern, wie oft KI-Tools eine Website zeigen oder zitieren.
So sind wir vorgegangen
Wir haben aus jeder von fünf Gruppen zufällig 1.500 Websites gezogen: drei Rangbereiche der Tranco-Liste 467YX beliebter Websites (Rang 1-10.000, 10.001-100.000 und 100.001-1.000.000) sowie die niederländisch- und deutschsprachigen Bereiche des Curlie-Webverzeichnisses (47.502 und 309.045 Websites, die mit ihrer Startseite eingetragen sind). Dank eines festen Startwerts für den Zufall zieht jeder mit denselben zwei Dateien genau dieselben Websites.
Ein Computer in den Niederlanden besuchte über einen normalen Heimanschluss alle Websites in etwa 25 Minuten. Er stellte sich ehrlich als GEOScoreBot/1.0 (+https://geo-score.online) vor, machte Pausen zwischen Anfragen an dieselbe Website und rief nur ab, was robots.txt erlaubte.
Wir haben jede robots.txt mit unserem RFC-9309-Parser gelesen, demselben, der hinter unserem KI-Crawler-Checker steckt. Eine Gruppe mit dem eigenen Namen eines Bots geht vor der Regel für alle Bots. Keine robots.txt (eine 4xx-Antwort) bedeutet: Jeder Bot darf kommen. Ein Serverfehler (5xx) bedeutet: Kein Bot darf kommen. RFC 9309 zählt 429 (zu viele Anfragen) zu den 4xx-Antworten, Bots dürften dann also kommen. Google und Lighthouse werten 429 aber als Nein, und wir auch. Websites, die gar nicht antworteten (kein DNS, keine Verbindung), zählen nicht zu den Anteilen. Laut Standard müssten Bots dann ebenfalls ganz fernbleiben, aber so ein Fehler sagt nichts darüber, was die Website will.
Die Zahlen oben auf dieser Seite zählen nur Regeln in der robots.txt: eine Regel, die den Bot nennt, oder die Regel für alle Bots. Diese Aufteilung haben wir ergänzt, nachdem wir unsere Methode festgelegt hatten, sie ist also explorativ. Die Tabellen bleiben beim festgelegten Maß, das auch eine Fehlermeldung als Sperre zählt.
Fragen, Stichprobe und jede Messung haben wir aufgeschrieben und gespeichert, bevor der Crawl begann. Alles, was wir erst nach Sicht der Daten entschieden haben, ist als explorativ gekennzeichnet.
| Schritt | Top 10.000 | 10.001–100.000 | 100.001–1 Million | Niederländischsprachig | Deutschsprachig |
|---|---|---|---|---|---|
| Gezogene Websites | 1.500 | 1.500 | 1.500 | 1.500 | 1.500 |
| Gar keine Antwort (keine Website, DNS- oder Verbindungsfehler) | 273 | 230 | 234 | 97 | 70 |
| robots.txt hat geantwortet: zählt zu den Anteilen | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| … eine echte robots.txt-Datei | 897 | 913 | 898 | 1.012 | 1.014 |
| … eine Webseite statt einer robots.txt-Datei | 91 | 84 | 87 | 115 | 80 |
| … keine robots.txt (4xx) | 225 | 260 | 261 | 263 | 323 |
| … Serverfehler (429 oder 5xx) | 14 | 13 | 20 | 13 | 13 |
| Startseite öffnete sich normal für unseren Bot | 922 | 1.017 | 983 | 1.311 | 1.350 |
| Startseite wies unseren Bot ab (401, 403 oder 429) | 175 | 147 | 113 | 35 | 16 |
| Startseite lieferte eine andere Antwort oder schlug fehl | 68 | 59 | 73 | 25 | 29 |
| Startseite nicht besucht: robots.txt sagte Nein zu uns | 62 | 47 | 97 | 32 | 35 |
Eine Startseite, die unseren Bot abweist, ist Bot-Schutz, keine robots.txt-Regel. Das zählen wir nie als "sperrt KI".
RFC 9309, der Standard für robots.txtAndere Studien zur selben Frage
Der Web Almanac 2025 (HTTP Archive) fand GPTBot namentlich in robots.txt auf 4,5 % der Desktop-Websites, über Millionen Websites hinweg. In unserer Stichprobe deutschsprachiger Websites nennen 2,3 % der Dateien GPTBot. Einen Bot zu nennen ist nicht dasselbe, wie ihn zu sperren: Manche Dateien nennen einen Bot, um ihn zuzulassen.
Cloudflare Radar prüft jede Woche die robots.txt der 10.000 beliebtesten Domains und zählt Regeln, die einen KI-Bot beim Namen nennen (Herstellerdaten). Wir zählen auch die Regel für alle Bots und Serverfehler und schauen über die Top 10.000 hinaus.
Eine Studie von Longpre und anderen aus dem Jahr 2024, Consent in Crisis, verfolgte rund 14.000 Domains hinter großen KI-Trainingsdatensätzen. Sie zeigte, dass die Einschränkungen für KI-Crawler 2023 und 2024 stark zunahmen.
Prüfen Sie Ihre eigene Website
Das sind Durchschnittswerte. Ihre eigene Website gehört dazu oder nicht. Unsere kostenlosen Tools prüfen das in Sekunden.
Die Daten herunterladen
Jede Zahl dieser Seite steht in der CSV-Datei, eine Zeile pro Zahl, mit Anzahl, Basis und 95-%-Spanne. Sie enthält nur Summen, keine Namen von Websites.
Die Zahlen herunterladen (CSV)Sie dürfen die Zahlen unter der Lizenz CC BY 4.0 weiterverwenden. Bitte nennen Sie GEO-Score und verlinken Sie diese Seite.
Quellen der Website-Listen
Beliebte Websites: die Tranco-Liste 467YX (Le Pochat u. a., NDSS 2019).
Niederländisch- und deutschsprachige Websites: mit Inhalten von Curlie.org - dem größten von Menschen redigierten Webverzeichnis. Machen Sie mit, indem Sie eine Website anmelden oder Editor werden. Curlie-Daten stehen unter der Lizenz CC BY 3.0.
20. Oktober 2026: erste Messung veröffentlicht.