Was sind User-Agents?
Ein User-Agent ist eine Zeichenfolge, die identifiziert, welcher Bot oder Browser auf Ihre Website zugreift. KI-Suchmaschinen verwenden bestimmte User-Agents, sodass Sie deren Zugriff in der robots.txt steuern können.
Das Verständnis dieser User-Agents hilft Ihnen, GEO-freundlichen Zugriff zu konfigurieren. Diese Referenz listet alle wichtigen KI-Bots auf, die Sie kennen sollten.
Wichtige KI-Bot-User-Agents
| Bot-Name | User-Agent-Zeichenfolge | Unternehmen |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Training) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (KI-Funktionen) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Testen Ihrer Konfiguration
Prüfen Sie Ihre robots.txt
Besuchen Sie:
Überprüfen Sie, dass die Datei geladen wird und Ihre KI-Bot-Konfigurationen enthält.
Robots.txt-Tester verwenden
Google Search Console bietet einen robots.txt-Tester. Testen Sie verschiedene User-Agents, um Ihre Konfiguration zu überprüfen.
Server-Logs überwachen
Überprüfen Sie Ihre Server-Logs, um zu sehen, welche Bots tatsächlich crawlen. Suchen Sie in den Zugriffsprotokollen nach den User-Agent-Zeichenfolgen.
Best Practices
Alle KI-Bots zulassen, sofern Sie keinen besonderen Grund dagegen haben
Halten Sie Ihre robots.txt einfach und gut dokumentiert
Testen Sie Änderungen vor dem Deployment in die Produktion
Überwachen Sie Logs, um zu sehen, welche Bots tatsächlich besuchen
Aktualisieren Sie Ihre robots.txt, wenn neue KI-Bots erscheinen
Blockieren Sie nur bestimmte sensible Verzeichnisse, nicht die gesamte Website
Verwandte Ressourcen
Vollständiger robots.txt-Leitfaden
Vollständiger Leitfaden zur robots.txt-Konfiguration
KI-Bot-Zugriff
Bot-Zugriff für GEO verstehen
Technische SEO-Checkliste
Vollständige technische Optimierungs-Checkliste