Hvad Er User-Agents?
En user-agent er en streng der identificerer hvilken bot eller browser der tilgår dit website. AI-søgemaskiner bruger specifikke user-agents så du kan kontrollere deres adgang i robots.txt.
At forstå disse user-agents hjælper dig med at konfigurere GEO-venlig adgang. Denne reference viser alle større AI-bots du bør kende til.
Større AI Bot User-Agents
| Bot Navn | User-Agent Streng | Virksomhed |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Træning) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI funktioner) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
robots.txt Eksempler
Tillad Alle AI-Bots (Anbefalet til GEO)
Denne konfiguration tillader alle AI-bots at crawle hele dit site:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Blokér Alle AI-Bots (Ikke Anbefalet)
Brug kun dette hvis du vil opt-out af AI-søgning fuldstændigt:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Delvis Adgang Eksempel
Tillad AI-bots til offentligt indhold, men blokér private områder:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Test Din Konfiguration
Tjek Din robots.txt
Besøg: https://yoursite.com/robots.txt
Verificér at filen indlæses og indeholder dine AI-bot konfigurationer.
Brug Robots.txt Testere
Google Search Console tilbyder en robots.txt tester. Test forskellige user-agents for at verificere din konfiguration.
Overvåg Server Logs
Tjek dine server logs for at se hvilke bots der rent faktisk crawler. Led efter user-agent strengene i adgangslogfiler.
Bedste Praksis
- •Tillad alle AI-bots medmindre du har specifikke grunde til ikke at gøre det
- •Hold din robots.txt simpel og veldokumenteret
- •Test ændringer før deployment til produktion
- •Overvåg logs for at se hvilke bots der rent faktisk besøger
- •Opdatér din robots.txt når nye AI-bots dukker op
- •Blokér kun specifikke følsomme mapper, ikke hele sitet
Relaterede Ressourcer
- Robots.txt Komplet Guide
Fuld guide til robots.txt konfiguration
- AI Bot Adgang
Forståelse af bot-adgang til GEO
- Teknisk SEO Tjekliste
Komplet teknisk optimerings tjekliste