robots.txt für KI-Crawler konfigurieren
Eine praktische Durchsicht von GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended und den übrigen: was jeder tut, und eine robots.txt, die Sie tatsächlich verwenden können.
Die meisten Websites blockieren KI-Crawler entweder versehentlich — durch eine geerbte WAF-Regel oder eine kopierte robots.txt-Vorlage — oder erlauben alles, ohne nachzudenken, wofür jeder Bot eigentlich da ist. Dieser Leitfaden behebt beides.
Meinen Crawler-Zugriff prüfenZwei Arten von KI-Crawlern, nicht eine
KI-Unternehmen betreiben mindestens zwei verschiedene Arten von Crawlern, und sie als eine Sache zu behandeln, ist der häufigste robots.txt-Fehler. Trainings-Crawler wie GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google) und CCBot (Common Crawl, indirekt von vielen Modellen genutzt) besuchen Ihre Seite nach eigenem Zeitplan, um Daten für eine künftige Modellversion zu sammeln. Einen davon zu blockieren entfernt nichts, was bereits aus einem vergangenen Crawl gelernt wurde — es meldet Sie nur vom nächsten ab.
Echtzeit-Abruf-Crawler funktionieren anders: OAI-SearchBot und ChatGPT-User (OpenAI), PerplexityBot (Perplexity), sowie die suchverbundenen Abrufe von Claude und Gemini laufen alle in dem Moment, in dem ein Nutzer eine Frage stellt, die Ihre Seite gerade jetzt benötigt. Diese zu blockieren hat sofortige Wirkung: Die Engine kann Ihre Seite für diese Antwort nicht lesen, Punkt, selbst wenn Ihr Inhalt genau das war, was gebraucht wurde.
Deshalb ist eine pauschale 'alle Bots blockieren'-Regel meist ein Fehler, und eine pauschale 'alles erlauben'-Regel ohne Nachdenken ebenfalls. Die richtige robots.txt behandelt jeden Crawler danach, was er tut: erlauben Sie die, die Zitate und Echtzeit-Antworten antreiben, und treffen Sie eine bewusste, informierte Entscheidung — keine Standardeinstellung — über die reinen Trainings-Bots.
Was Sie entscheiden sollten, bevor Sie robots.txt bearbeiten
Wissen, welchen Typ Sie blockieren
Prüfen Sie vor jedem Disallow, ob es sich um einen Trainings-Crawler handelt, der nur künftige Modellversionen betrifft, oder um einen Echtzeit-Abrufer, der beeinflusst, ob Sie gerade jetzt in einer Antwort zitiert werden. Beide haben völlig unterschiedliche Konsequenzen.
Verifizieren Sie, dass der Bot echt ist
Ein User-Agent-String ist nur Text — jeder kann 'GPTBot' in einem Request-Header senden. Verifizieren Sie alles über eine einfache robots.txt-Regel hinaus, etwa eine WAF-Sperre, anhand veröffentlichter IP-Bereiche oder einer verifizierten Bot-Liste eines CDN, nicht anhand des Strings allein.
Prüfen Sie Ihre Server-Logs, nicht nur robots.txt
robots.txt ist eine Bitte, kein Schloss — brave Bots respektieren sie, aber der einzige Weg zu wissen, ob Ihre Regeln wirklich funktionieren, ist regelmäßig die Server-Logs auf 200er-Antworten zu prüfen (nicht stille Ablehnungen oder WAF-Challenges) von den Bots, die Sie erlauben wollten.
Warum es sich lohnt, das richtig zu machen
Versehentliches Blockieren ist der Normalfall, nicht die Ausnahme
Unabhängige Forschung von Originality.ai fand, dass GPTBot von über einem Drittel der Top-1.000-Websites blockiert wird — und Interviews mit Seitenbetreibern zeigten, dass viele dieser Blockaden von Standard-WAF-Regeln oder kopierten Vorlagen geerbt wurden, nicht von einer bewussten Entscheidung.
Meist eine Fünf-Minuten-Korrektur
Sobald Sie wissen, welche Bots Sie erlauben möchten, ist die tatsächliche robots.txt-Änderung eine Handvoll Zeilen. Der schwierige Teil ist zu wissen, was man schreiben soll, nicht das Schreiben selbst.
Blockieren hat einen messbaren Preis
Fallstudien, analysiert von Hack/Hackers, fanden, dass Websites, die KI-Crawler blockierten, anschließend einen deutlichen Rückgang des Referral-Traffics von KI-Antwortmaschinen verzeichneten. Der Crawler, den Sie heute blockieren, ist das Zitat, das Sie morgen nicht bekommen.
KI-Crawler-Zugriff in 3 Schritten einrichten
Pro Bot entscheiden, nicht alles oder nichts
Listen Sie auf, welche Crawler Sie erlauben möchten. Die meisten Websites sollten die Echtzeit-Abrufer — OAI-SearchBot, ChatGPT-User und PerplexityBot — standardmäßig erlauben, da eine Blockierung Sie sofort aus Live-Antworten entfernt.
Explizite Allow-Regeln schreiben
Fügen Sie pro Bot einen User-Agent-Block hinzu, statt sich auf eine generische Wildcard-Regel aus einer Vorlage zu verlassen. Explizite Regeln überschreiben Standardeinstellungen und machen Ihre Absicht später nachvollziehbar.
Mit Server-Logs bestätigen
Prüfen Sie nach dem Deployment Ihre Logs auf die erlaubten Bots. Achten Sie auf 200er-Antworten, nicht auf 403er oder WAF-Challenges. Ein Bot, der robots.txt respektiert, aber anderswo in Ihrem Stack trotzdem blockiert wird, braucht eine separate Korrektur.
AI Crawler Access — Häufige Fragen
Was ist der Unterschied zwischen einem Trainings-Crawler und einem Echtzeit-Abruf-Crawler?
Ein Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended sammelt Daten nach eigenem Zeitplan, um eine künftige Modellversion zu verbessern — Blockieren hat keine Auswirkung auf Zitate, die heute stattfinden. Ein Echtzeit-Abruf-Crawler wie OAI-SearchBot, ChatGPT-User oder PerplexityBot läuft in dem Moment, in dem die Frage eines Nutzers Ihre Seite braucht — Blockieren bedeutet, dass diese konkrete Antwort Ihre Inhalte überhaupt nicht nutzen kann.
Wie sieht eine funktionierende robots.txt für KI-Crawler aus?
Ein minimales Beispiel, das die wichtigsten zitationsrelevanten Bots erlaubt: User-agent: GPTBot, Allow: /; User-agent: OAI-SearchBot, Allow: /; User-agent: ChatGPT-User, Allow: /; User-agent: ClaudeBot, Allow: /; User-agent: PerplexityBot, Allow: /; User-agent: Google-Extended, Allow: /; gefolgt von einer Sitemap-Zeile, die auf Ihre sitemap.xml verweist. Passen Sie an, welche Bots Allow oder Disallow bekommen, basierend auf Ihrer eigenen Entscheidung zu Trainingsdaten.
Sollte ich GPTBot blockieren, um KI von meinen Inhalten fernzuhalten?
Für die meisten Websites: nein. GPTBot ist OpenAIs Trainings-Crawler — Blockieren stoppt, dass künftige Modelle mit neuen Inhalten trainiert werden, entfernt aber nichts bereits Gelerntes und beeinflusst nicht ChatGPTs Echtzeit-Zitate, die stattdessen von OAI-SearchBot und ChatGPT-User kommen. Blockieren ist eine bewusste Opt-out-Entscheidung, keine Sicherheitsmaßnahme, und Fallstudien deuten darauf hin, dass es echten Referral-Traffic kosten kann, ohne einen klaren Vorteil für die meisten Publisher.
Beeinflusst das Blockieren von KI-Crawlern mein Google-Ranking?
Das Blockieren von GPTBot, ClaudeBot oder PerplexityBot hat keine direkte Auswirkung auf das Google-Suchranking — Googlebot ist ein völlig separater Crawler. Speziell Google-Extended zu blockieren ist anders: Es verhindert, dass Ihre Inhalte in Googles eigenen KI-Funktionen wie AI Overviews und Gemini verwendet werden, ohne Ihr reguläres Suchranking zu berühren, da dieses von Googlebot gesteuert wird.
Woher weiß ich, dass eine Anfrage, die sich als GPTBot ausgibt, tatsächlich GPTBot ist?
Vertrauen Sie niemals allein dem User-Agent-String — er lässt sich leicht fälschen. Verifizieren Sie alles über eine einfache robots.txt-Regel hinaus anhand der veröffentlichten IP-Bereiche des Crawlers (OpenAI, Anthropic und andere veröffentlichen diese) oder nutzen Sie eine verifizierte Bot-Liste eines CDN, wie Cloudflares AI Crawl Control, die mehr als nur den Header prüft.
Brauche ich auch eine llms.txt-Datei?
llms.txt ist eine aufkommende, inoffizielle Konvention, die manche Websites nutzen, um KI-Crawler auf eine kuratierte Zusammenfassung ihrer Inhalte hinzuweisen. Es ist kein Standard, den ein großes KI-Unternehmen bestätigt gelesen zu haben, und es ersetzt nicht robots.txt, den eigentlichen Zugriffskontrollmechanismus, den Crawler respektieren. Beobachtenswert, aber noch nicht wichtiger als eine korrekte robots.txt.
Prüfen Sie, ob KI-Crawler Ihre Website tatsächlich lesen können
GEO-Score untersucht Ihre robots.txt, Serverantworten und JavaScript-gerenderte Inhalte, um genau zu zeigen, welche KI-Bots zugelassen sind. Fünf Seitenprüfungen pro Domain sind alle 30 Tage kostenlos.
Meinen Crawler-Zugriff prüfen