Vad Àr anvÀndaragenter?
En anvÀndaragent Àr en strÀng som identifierar vilken bot eller webblÀsare som fÄr Ätkomst till din webbplats. AI-sökmotorer anvÀnder specifika anvÀndaragenter sÄ att du kan kontrollera deras Ätkomst i robots.txt.
Att förstÄ dessa anvÀndaragenter hjÀlper dig att konfigurera GEO-vÀnlig Ätkomst. Denna referens listar alla större AI-botar du bör kÀnna till.
Större AI-bot-anvÀndaragenter
| Botnamn | AnvÀndaragentstrÀng | Företag |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Training) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI-funktioner) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
robots.txt-exempel
TillÄt alla AI-botar (Rekommenderat för GEO)
Denna konfiguration tillÄter alla AI-botar att crawla hela din webbplats:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Blockera alla AI-botar (Ej rekommenderat)
AnvÀnd endast detta om du vill vÀlja bort AI-sökning helt:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Exempel pÄ delvis Ätkomst
TillÄt AI-botar till offentligt innehÄll men blockera privata omrÄden:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Testa din konfiguration
Kontrollera din robots.txt
Besök: https://yoursite.com/robots.txt
Verifiera att filen laddas och innehÄller dina AI-botkonfigurationer.
AnvÀnd Robots.txt-testare
Google Search Console erbjuder en robots.txt-testare. Testa olika anvÀndaragenter för att verifiera din konfiguration.
Ăvervaka serverloggar
Kontrollera dina serverloggar för att se vilka botar som faktiskt crawlar. Leta efter anvÀndaragentstrÀngarna i Ätkomstloggarna.
BĂ€sta praxis
- âąTillĂ„t alla AI-botar om du inte har specifika skĂ€l att inte göra det
- âąHĂ„ll din robots.txt enkel och vĂ€ldokumenterad
- âąTesta Ă€ndringar innan distribution till produktion
- âąĂvervaka loggar för att se vilka botar som faktiskt besöker
- âąUppdatera din robots.txt nĂ€r nya AI-botar dyker upp
- âąBlockera endast specifika kĂ€nsliga kataloger, inte hela webbplatsen
Relaterade resurser
- Komplett guide för Robots.txt
FullstÀndig guide till robots.txt-konfiguration
- AI-botÄtkomst
FörstÄ botÄtkomst för GEO
- Teknisk SEO-checklista
Komplett teknisk optimeringschecklista