GEO-Score
DienstleistungenÜber unsLernenBestenlisteBerichtePreiseBlog

GEO-Score

Das beste GEO-Analysetool

Testen Sie Ihre Inhalte für KI-Suchmaschinen wie ChatGPT, Perplexity und Claude. Erhalten Sie umsetzbare Einblicke zur Verbesserung Ihrer Sichtbarkeit.

GEO-Content-Tipps erhalten

Dazu unser kostenloses Whitepaper, warum ChatGPT Websites übergeht.

Ressourcen

  • Wissensdatenbank
  • Was ist GEO?
  • GEO-Blog
  • GEO-Score-Checker
  • Bestenliste
  • KI-Glossar
  • Fallstudien
  • GEO Insights
  • Berichte

GEO-Tools

  • Komplettes Website-GEO-Audit
  • GEO-Analyse
  • AI Visibility Checker
  • ROI-Rechner
  • Schema Validator
  • Perplexity SEO Checker
  • ChatGPT SEO Checker
  • Google KI-Modus Checker
  • KI-Crawler-Checker
  • Agent-Readiness-Checker
  • llms.txt Generator
  • Query-Fan-Out-Tool
  • AI Bot Log Analyzer
  • Wettbewerbsvergleich
  • Professionelle Dienstleistungen
  • Shopify-App
  • Alle Tools

Analysieren Sie Ihre

  • Blogbeiträge
  • Produktseiten
  • Landingpages
  • Startseiten
  • Servicepages

GEO-Score

  • Über uns
  • Datenschutzerklärung
  • AGB
  • Kontakt
  • White Label
  • Bauen Sie Ihren Erfolg

GEO-Score folgen

KI-Such-Leitfäden

KI-SuchoptimierungPerplexity SEOChatGPT SEOLLM SEOAI Visibility CheckerAlle Leitfäden →
DSGVO-konformDaten in der EU gehostetMade in the Netherlands
KVK: 61855111BTW: NL004509498B76© 2026 GEO-score.onlineGEO-Score ist Teil von Be-Found.
Bringen Sie Ihr Bloggen mit Bloffee voran
Zurück zum DashboardLernhub
Learn/KI-Bot-User-Agents
Learning Hub

KI-Bot-User-Agents

Jeder KI-Crawler-Name für die robots.txt: was er tut, ob er robots.txt befolgt und was Blockieren ändert. Am 19. Oktober 2026 mit der eigenen Dokumentation jedes Unternehmens abgeglichen.

Zuletzt aktualisiert: 3. November 2026

Was ist ein User-Agent-Name?

Jeder Bot sendet bei jeder Anfrage einen Namen mit: seinen User-Agent. In der robots.txt verwenden Sie die Kurzform dieses Namens, das Token, um einem Bot eigene Regeln zu geben. Groß- und Kleinschreibung spielt keine Rolle: GPTBot und gptbot sind derselbe Name.

KI-Unternehmen setzen verschiedene Bots für verschiedene Aufgaben ein. Sucher finden Seiten für die KI-Suche, Lerner sammeln Seiten für das Training, und Helfer öffnen eine Seite, wenn jemand danach fragt. Google-Extended und Applebot-Extended sind überhaupt keine Crawler: Sie legen nur fest, wie Seiten genutzt werden dürfen, die Google und Apple ohnehin crawlen.

Einen Lerner zu blockieren, hält Ihre Seiten aus künftigem Training heraus. Einen Sucher zu blockieren, hält sie aus den Antworten dieses Produkts heraus. Neugierig, was Ihre eigene robots.txt bewirkt? Probieren Sie den kostenlosen KI-Crawler-Checker.

Namen von KI-Bots, abgeglichen mit der Dokumentation jedes Unternehmens

Name in der robots.txtUnternehmenWas er tutBefolgt robots.txt?
DiffbotDiffbotUnklar, keine DokumentationUnbekannt
OAI-SearchBotOpenAIFindet Seiten für die KI-SucheJa
GPTBotOpenAISammelt Seiten für KI-TrainingJa
ChatGPT-UserOpenAIÖffnet Seiten auf NutzeranfrageNicht immer, laut OpenAI
Claude-SearchBotAnthropicFindet Seiten für die KI-SucheJa
ClaudeBotAnthropicSammelt Seiten für KI-TrainingJa
Claude-UserAnthropicÖffnet Seiten auf NutzeranfrageJa
PerplexityBotPerplexityFindet Seiten für die KI-SucheJa
Perplexity-UserPerplexityÖffnet Seiten auf NutzeranfrageIn der Regel nicht, laut Perplexity
GooglebotGoogleSuchmaschine, speist auch KI-AntwortenJa
Google-ExtendedGoogleEinstellung, kein CrawlerJa
Google-AgentGoogleÖffnet Seiten auf NutzeranfrageIn der Regel nicht, laut Google
bingbotMicrosoftSuchmaschine, speist auch KI-AntwortenJa
ApplebotAppleSuchmaschine, speist auch KI-AntwortenJa
Applebot-ExtendedAppleEinstellung, kein CrawlerJa
meta-externalagentMetaSammelt Seiten für KI-TrainingJa
meta-webindexerMetaFindet Seiten für die KI-SucheJa
meta-externalfetcherMetaÖffnet Seiten auf NutzeranfrageNicht immer, laut Meta
AmazonbotAmazonSammelt Seiten für KI-TrainingJa
Amzn-SearchBotAmazonFindet Seiten für die KI-SucheJa
Amzn-UserAmazonÖffnet Seiten auf NutzeranfrageNicht immer, laut Amazon
DuckAssistBotDuckDuckGoFindet Seiten für die KI-SucheJa
MistralAI-UserMistral AIÖffnet Seiten auf NutzeranfrageJa
MistralAI-IndexMistral AIFindet Seiten für die KI-SucheKeine Angabe von Mistral AI
MistralAI-TrainingMistral AISammelt Seiten für KI-TrainingJa
CCBotCommon CrawlSammelt Seiten für KI-TrainingJa
BytespiderByteDanceUnklar, keine DokumentationUnbekannt
cohere-aiCohereUnklar, keine DokumentationUnbekannt
OmgilibotOmgiliUnklar, keine DokumentationUnbekannt

Ihre Einrichtung prüfen

Den KI-Crawler-Checker nutzen

Geben Sie Ihre Website im KI-Crawler-Checker ein. Er liest Ihre robots.txt so, wie jeder Bot es tut, und zeigt die genaue Zeile, die entscheidet.

Ihre robots.txt öffnen

Rufen Sie ihreseite.de/robots.txt im Browser auf. Die Datei sollte als reiner Text laden, nicht als Webseite.

In Ihre Server-Logs schauen

Suchen Sie in Ihren Zugriffs-Logs nach den Namen oben. Jeder kann den Namen eines Bots mitsenden, deshalb veröffentlichen OpenAI, Anthropic, Perplexity und Common Crawl IP-Listen, mit denen Sie echte Besuche prüfen können.

Gute Gewohnheiten

Entscheiden Sie pro Bot, nicht alles oder nichts: Sucher, Lerner und Helfer erledigen verschiedene Aufgaben.

Geben Sie einem Bot nur dann eine eigene Gruppe, wenn er andere Regeln braucht, und wiederholen Sie gemeinsame Regeln in dieser Gruppe.

Jeder Host und jede Subdomain braucht eine eigene robots.txt im Stammverzeichnis.

Blockieren Sie KI-Bots nicht per IP-Adresse, wenn sie Ihre Regeln lesen sollen. Anthropic warnt, dass eine IP-Sperre seine Bots daran hindert, die robots.txt zu lesen.

Geben Sie einer Änderung etwa einen Tag: OpenAI, Perplexity, Meta und Amazon nennen rund 24 Stunden, DuckDuckGo bis zu 72 Stunden.

Prüfen Sie auch Ihre Firewall oder Ihr CDN. Die robots.txt ist eine Bitte, kein Schloss.

Verwandte Themen

robots.txt erklärt

Wie die robots.txt funktioniert, Regel für Regel

KI-Crawler-Checker

Sehen, welche KI-Bots Ihre robots.txt und Ihr Server hereinlassen

Leitfaden: Zugriff für KI-Crawler

Die robots.txt Schritt für Schritt für KI-Bots einrichten

robots.txt-Generator

Eine robots.txt mit Ihrer eigenen Wahl pro Bot erstellen

Multi-Plattform-KI-Optimierung: GEO über alle PlattformenHäufige GEO-Fehler vermeiden: 15 Fehler, die KI-Such-Rankings schaden

Lernen Sie, wie Sie Ihre Inhalte für KI-Suchmaschinen optimieren

Alle Lernressourcen anzeigen