Was ist ein User-Agent-Name?
Jeder Bot sendet bei jeder Anfrage einen Namen mit: seinen User-Agent. In der robots.txt verwenden Sie die Kurzform dieses Namens, das Token, um einem Bot eigene Regeln zu geben. Groß- und Kleinschreibung spielt keine Rolle: GPTBot und gptbot sind derselbe Name.
KI-Unternehmen setzen verschiedene Bots für verschiedene Aufgaben ein. Sucher finden Seiten für die KI-Suche, Lerner sammeln Seiten für das Training, und Helfer öffnen eine Seite, wenn jemand danach fragt. Google-Extended und Applebot-Extended sind überhaupt keine Crawler: Sie legen nur fest, wie Seiten genutzt werden dürfen, die Google und Apple ohnehin crawlen.
Einen Lerner zu blockieren, hält Ihre Seiten aus künftigem Training heraus. Einen Sucher zu blockieren, hält sie aus den Antworten dieses Produkts heraus. Neugierig, was Ihre eigene robots.txt bewirkt? Probieren Sie den kostenlosen KI-Crawler-Checker.
Namen von KI-Bots, abgeglichen mit der Dokumentation jedes Unternehmens
| Name in der robots.txt | Unternehmen | Was er tut | Befolgt robots.txt? |
|---|---|---|---|
| Diffbot | Diffbot | Unklar, keine Dokumentation | Unbekannt |
| OAI-SearchBot | OpenAI | Findet Seiten für die KI-Suche | Ja |
| GPTBot | OpenAI | Sammelt Seiten für KI-Training | Ja |
| ChatGPT-User | OpenAI | Öffnet Seiten auf Nutzeranfrage | Nicht immer, laut OpenAI |
| Claude-SearchBot | Anthropic | Findet Seiten für die KI-Suche | Ja |
| ClaudeBot | Anthropic | Sammelt Seiten für KI-Training | Ja |
| Claude-User | Anthropic | Öffnet Seiten auf Nutzeranfrage | Ja |
| PerplexityBot | Perplexity | Findet Seiten für die KI-Suche | Ja |
| Perplexity-User | Perplexity | Öffnet Seiten auf Nutzeranfrage | In der Regel nicht, laut Perplexity |
| Googlebot | Suchmaschine, speist auch KI-Antworten | Ja | |
| Google-Extended | Einstellung, kein Crawler | Ja | |
| Google-Agent | Öffnet Seiten auf Nutzeranfrage | In der Regel nicht, laut Google | |
| bingbot | Microsoft | Suchmaschine, speist auch KI-Antworten | Ja |
| Applebot | Apple | Suchmaschine, speist auch KI-Antworten | Ja |
| Applebot-Extended | Apple | Einstellung, kein Crawler | Ja |
| meta-externalagent | Meta | Sammelt Seiten für KI-Training | Ja |
| meta-webindexer | Meta | Findet Seiten für die KI-Suche | Ja |
| meta-externalfetcher | Meta | Öffnet Seiten auf Nutzeranfrage | Nicht immer, laut Meta |
| Amazonbot | Amazon | Sammelt Seiten für KI-Training | Ja |
| Amzn-SearchBot | Amazon | Findet Seiten für die KI-Suche | Ja |
| Amzn-User | Amazon | Öffnet Seiten auf Nutzeranfrage | Nicht immer, laut Amazon |
| DuckAssistBot | DuckDuckGo | Findet Seiten für die KI-Suche | Ja |
| MistralAI-User | Mistral AI | Öffnet Seiten auf Nutzeranfrage | Ja |
| MistralAI-Index | Mistral AI | Findet Seiten für die KI-Suche | Keine Angabe von Mistral AI |
| MistralAI-Training | Mistral AI | Sammelt Seiten für KI-Training | Ja |
| CCBot | Common Crawl | Sammelt Seiten für KI-Training | Ja |
| Bytespider | ByteDance | Unklar, keine Dokumentation | Unbekannt |
| cohere-ai | Cohere | Unklar, keine Dokumentation | Unbekannt |
| Omgilibot | Omgili | Unklar, keine Dokumentation | Unbekannt |
Ihre Einrichtung prüfen
Den KI-Crawler-Checker nutzen
Geben Sie Ihre Website im KI-Crawler-Checker ein. Er liest Ihre robots.txt so, wie jeder Bot es tut, und zeigt die genaue Zeile, die entscheidet.
Ihre robots.txt öffnen
Rufen Sie ihreseite.de/robots.txt im Browser auf. Die Datei sollte als reiner Text laden, nicht als Webseite.
In Ihre Server-Logs schauen
Suchen Sie in Ihren Zugriffs-Logs nach den Namen oben. Jeder kann den Namen eines Bots mitsenden, deshalb veröffentlichen OpenAI, Anthropic, Perplexity und Common Crawl IP-Listen, mit denen Sie echte Besuche prüfen können.
Gute Gewohnheiten
Entscheiden Sie pro Bot, nicht alles oder nichts: Sucher, Lerner und Helfer erledigen verschiedene Aufgaben.
Geben Sie einem Bot nur dann eine eigene Gruppe, wenn er andere Regeln braucht, und wiederholen Sie gemeinsame Regeln in dieser Gruppe.
Jeder Host und jede Subdomain braucht eine eigene robots.txt im Stammverzeichnis.
Blockieren Sie KI-Bots nicht per IP-Adresse, wenn sie Ihre Regeln lesen sollen. Anthropic warnt, dass eine IP-Sperre seine Bots daran hindert, die robots.txt zu lesen.
Geben Sie einer Änderung etwa einen Tag: OpenAI, Perplexity, Meta und Amazon nennen rund 24 Stunden, DuckDuckGo bis zu 72 Stunden.
Prüfen Sie auch Ihre Firewall oder Ihr CDN. Die robots.txt ist eine Bitte, kein Schloss.
Verwandte Themen
Wie die robots.txt funktioniert, Regel für Regel
Sehen, welche KI-Bots Ihre robots.txt und Ihr Server hereinlassen
Leitfaden: Zugriff für KI-Crawler
Die robots.txt Schritt für Schritt für KI-Bots einrichten
Eine robots.txt mit Ihrer eigenen Wahl pro Bot erstellen