Tillbaka till SEO-checklistan

AI-bot user-agents

Komplett referens för konfiguration av robots.txt

Vad Àr user-agents?

En user-agent Àr en strÀng som identifierar vilken bot eller webblÀsare som besöker din webbplats. AI-sökmotorer anvÀnder specifika user-agents sÄ att du kan styra deras Ätkomst i robots.txt.

Att förstÄ dessa user-agents hjÀlper dig att konfigurera GEO-vÀnlig Ätkomst. Denna referens listar alla större AI-botar du bör kÀnna till.

Större AI-bot user-agents

BotnamnUser-agent-strÀngFöretag
GPTBotGPTBotOpenAI (ChatGPT)
ChatGPT-UserChatGPT-UserOpenAI (ChatGPT Plugins/Browse)
Claude-WebClaude-WebAnthropic (Claude)
anthropic-aianthropic-aiAnthropic (Training)
Google-ExtendedGoogle-ExtendedGoogle (Gemini/Bard)
PerplexityBotPerplexityBotPerplexity AI
YouBotYouBotYou.com
Applebot-ExtendedApplebot-ExtendedApple (AI-funktioner)
DiffbotDiffbotDiffbot (Knowledge Graph)
cohere-aicohere-aiCohere

robots.txt-exempel

TillÄt alla AI-botar (rekommenderas för GEO)

Denna konfiguration tillÄter alla AI-botar att genomsöka hela din webbplats:

User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-Web Allow: / User-agent: anthropic-ai Allow: / User-agent: Google-Extended Allow: / User-agent: PerplexityBot Allow: / User-agent: YouBot Allow: / User-agent: Applebot-Extended Allow: / User-agent: Diffbot Allow: / User-agent: cohere-ai Allow: /

Blockera alla AI-botar (rekommenderas inte)

AnvÀnd endast detta om du helt vill avstÄ frÄn AI-sökning:

User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: Claude-Web Disallow: / User-agent: Google-Extended Disallow: /

Exempel pÄ partiell Ätkomst

TillÄt AI-botar till offentligt innehÄll men blockera privata omrÄden:

User-agent: GPTBot Allow: /blog/ Allow: /docs/ Disallow: /admin/ Disallow: /user/ Disallow: /api/

Testa din konfiguration

Kontrollera din robots.txt

Besök: https://yoursite.com/robots.txt

Verifiera att filen laddas och innehÄller dina AI-botkonfigurationer.

AnvÀnd robots.txt-testare

Google Search Console erbjuder en robots.txt-testare. Testa olika user-agents för att verifiera din konfiguration.

Övervaka serverloggar

Kontrollera dina serverloggar för att se vilka botar som faktiskt genomsöker. Leta efter user-agent-strÀngar i Ätkomstloggarna.

BĂ€sta praxis

  • ‱TillĂ„t alla AI-botar om du inte har specifika skĂ€l att inte göra det
  • ‱HĂ„ll din robots.txt enkel och vĂ€ldokumenterad
  • ‱Testa Ă€ndringar innan du distribuerar till produktion
  • ‱Övervaka loggar för att se vilka botar som faktiskt besöker
  • ‱Uppdatera din robots.txt nĂ€r nya AI-botar dyker upp
  • ‱Blockera bara specifika kĂ€nsliga kataloger, inte hela webbplatsen

Relaterade resurser

Referens för AI-bot user-agents: Komplett lista för robots.txt