Referenz für KI-Bot-User-Agents: Vollständige Liste für robots.txt

Was sind User-Agents?

Ein User-Agent ist eine Zeichenfolge, die identifiziert, welcher Bot oder Browser auf Ihre Website zugreift. KI-Suchmaschinen verwenden bestimmte User-Agents, sodass Sie deren Zugriff in der robots.txt steuern können.

Das Verständnis dieser User-Agents hilft Ihnen, GEO-freundlichen Zugriff zu konfigurieren. Diese Referenz listet alle wichtigen KI-Bots auf, die Sie kennen sollten.

Wichtige KI-Bot-User-Agents

Bot-Name	User-Agent-Zeichenfolge	Unternehmen
GPTBot	`GPTBot`	OpenAI (ChatGPT)
ChatGPT-User	`ChatGPT-User`	OpenAI (ChatGPT Plugins/Browse)
Claude-Web	`Claude-Web`	Anthropic (Claude)
anthropic-ai	`anthropic-ai`	Anthropic (Training)
Google-Extended	`Google-Extended`	Google (Gemini/Bard)
PerplexityBot	`PerplexityBot`	Perplexity AI
YouBot	`YouBot`	You.com
Applebot-Extended	`Applebot-Extended`	Apple (KI-Funktionen)
Diffbot	`Diffbot`	Diffbot (Knowledge Graph)
cohere-ai	`cohere-ai`	Cohere

robots.txt-Beispiele

Alle KI-Bots zulassen (empfohlen für GEO)

Diese Konfiguration erlaubt allen KI-Bots, Ihre gesamte Website zu crawlen:

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: YouBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Diffbot
Allow: /

User-agent: cohere-ai
Allow: /

Alle KI-Bots blockieren (nicht empfohlen)

Verwenden Sie dies nur, wenn Sie vollständig aus der KI-Suche aussteigen möchten:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Google-Extended
Disallow: /

Beispiel für teilweisen Zugriff

KI-Bots Zugang zu öffentlichen Inhalten erlauben, aber private Bereiche blockieren:

User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/

Testen Ihrer Konfiguration

Prüfen Sie Ihre robots.txt

Besuchen Sie: https://yoursite.com/robots.txt

Überprüfen Sie, dass die Datei geladen wird und Ihre KI-Bot-Konfigurationen enthält.

Robots.txt-Tester verwenden

Google Search Console bietet einen robots.txt-Tester. Testen Sie verschiedene User-Agents, um Ihre Konfiguration zu überprüfen.

Server-Logs überwachen

Überprüfen Sie Ihre Server-Logs, um zu sehen, welche Bots tatsächlich crawlen. Suchen Sie in den Zugriffsprotokollen nach den User-Agent-Zeichenfolgen.

Best Practices

•Alle KI-Bots zulassen, sofern Sie keinen besonderen Grund dagegen haben
•Halten Sie Ihre robots.txt einfach und gut dokumentiert
•Testen Sie Änderungen vor dem Deployment in die Produktion
•Überwachen Sie Logs, um zu sehen, welche Bots tatsächlich besuchen
•Aktualisieren Sie Ihre robots.txt, wenn neue KI-Bots erscheinen
•Blockieren Sie nur bestimmte sensible Verzeichnisse, nicht die gesamte Website

KI-Bot-User-Agents