AI-Bot-User-Agents-Referenz: Vollständige Liste für robots.txt

Was sind User-Agents?

Ein User-Agent ist eine Zeichenfolge, die identifiziert, welcher Bot oder Browser auf Ihre Website zugreift. AI-Suchmaschinen verwenden spezifische User-Agents, damit Sie ihren Zugriff in robots.txt steuern können.

Das Verständnis dieser User-Agents hilft Ihnen, GEO-freundlichen Zugriff zu konfigurieren. Diese Referenz listet alle wichtigen AI-Bots auf, die Sie kennen sollten.

Wichtige AI-Bot-User-Agents

Bot-Name	User-Agent-String	Unternehmen
GPTBot	`GPTBot`	OpenAI (ChatGPT)
ChatGPT-User	`ChatGPT-User`	OpenAI (ChatGPT-Plugins/Browse)
Claude-Web	`Claude-Web`	Anthropic (Claude)
anthropic-ai	`anthropic-ai`	Anthropic (Training)
Google-Extended	`Google-Extended`	Google (Gemini/Bard)
PerplexityBot	`PerplexityBot`	Perplexity AI
YouBot	`YouBot`	You.com
Applebot-Extended	`Applebot-Extended`	Apple (AI-Features)
Diffbot	`Diffbot`	Diffbot (Knowledge Graph)
cohere-ai	`cohere-ai`	Cohere

robots.txt-Beispiele

Alle AI-Bots zulassen (Empfohlen für GEO)

Diese Konfiguration erlaubt allen AI-Bots, Ihre gesamte Website zu crawlen:

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: YouBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Diffbot
Allow: /

User-agent: cohere-ai
Allow: /

Alle AI-Bots blockieren (Nicht empfohlen)

Verwenden Sie dies nur, wenn Sie vollständig aus der AI-Suche aussteigen möchten:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Google-Extended
Disallow: /

Beispiel für teilweisen Zugriff

AI-Bots zu öffentlichem Content zulassen, aber private Bereiche blockieren:

User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/

Ihre Konfiguration testen

Überprüfen Sie Ihre robots.txt

Besuchen Sie: https://yoursite.com/robots.txt

Überprüfen Sie, ob die Datei lädt und Ihre AI-Bot-Konfigurationen enthält.

Robots.txt-Tester verwenden

Google Search Console bietet einen robots.txt-Tester. Testen Sie verschiedene User-Agents, um Ihre Konfiguration zu überprüfen.

Server-Logs überwachen

Überprüfen Sie Ihre Server-Logs, um zu sehen, welche Bots tatsächlich crawlen. Suchen Sie nach den User-Agent-Strings in Access-Logs.

Best Practices

•Erlauben Sie alle AI-Bots, es sei denn, Sie haben spezifische Gründe dagegen
•Halten Sie Ihre robots.txt einfach und gut dokumentiert
•Testen Sie Änderungen vor der Bereitstellung in Produktion
•Überwachen Sie Logs, um zu sehen, welche Bots tatsächlich besuchen
•Aktualisieren Sie Ihre robots.txt, wenn neue AI-Bots auftauchen
•Blockieren Sie nur spezifische sensible Verzeichnisse, nicht die gesamte Website

AI-Bot-User-Agents