Vad är user-agents?
En user-agent är en sträng som identifierar vilken bot eller webbläsare som besöker din webbplats. AI-sökmotorer använder specifika user-agents så att du kan styra deras åtkomst i robots.txt.
Att förstå dessa user-agents hjälper dig att konfigurera GEO-vänlig åtkomst. Denna referens listar alla större AI-botar du bör känna till.
Större AI-bot user-agents
| Botnamn | User-agent-sträng | Företag |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Training) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI-funktioner) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Testa din konfiguration
Kontrollera din robots.txt
Besök:
Verifiera att filen laddas och innehåller dina AI-botkonfigurationer.
Använd robots.txt-testare
Google Search Console erbjuder en robots.txt-testare. Testa olika user-agents för att verifiera din konfiguration.
Övervaka serverloggar
Kontrollera dina serverloggar för att se vilka botar som faktiskt genomsöker. Leta efter user-agent-strängar i åtkomstloggarna.
Bästa praxis
Tillåt alla AI-botar om du inte har specifika skäl att inte göra det
Håll din robots.txt enkel och väldokumenterad
Testa ändringar innan du distribuerar till produktion
Övervaka loggar för att se vilka botar som faktiskt besöker
Uppdatera din robots.txt när nya AI-botar dyker upp
Blockera bara specifika känsliga kataloger, inte hela webbplatsen
Relaterade resurser
Komplett guide till robots.txt
Fullständig guide till konfiguration av robots.txt
AI-botåtkomst
Förstå botåtkomst för GEO
Teknisk SEO-checklista
Komplett checklista för teknisk optimering