Hvad er user-agents?
En user-agent er en streng, der identificerer, hvilken bot eller browser der tilgår din hjemmeside. AI-søgemaskiner bruger specifikke user-agents, så du kan styre deres adgang i robots.txt.
At forstå disse user-agents hjælper dig med at konfigurere GEO-venlig adgang. Denne reference viser alle de største AI-bots, du bør kende til.
Større AI-bot user-agents
| Bot-navn | User-agent-streng | Virksomhed |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (træning) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI-funktioner) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
robots.txt-eksempler
Tillad alle AI-bots (anbefalet til GEO)
Denne konfiguration tillader alle AI-bots at crawle hele dit site:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Bloker alle AI-bots (ikke anbefalet)
Brug kun dette, hvis du vil fravælge AI-søgning helt:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Eksempel på delvis adgang
Tillad AI-bots adgang til offentligt indhold, men bloker private områder:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Test din konfiguration
Tjek din robots.txt
Besøg: https://yoursite.com/robots.txt
Verificér at filen indlæses og indeholder dine AI-bot-konfigurationer.
Brug robots.txt-testere
Google Search Console tilbyder en robots.txt-tester. Test forskellige user-agents for at verificere din konfiguration.
Overvåg serverlogs
Tjek dine serverlogs for at se, hvilke bots der faktisk crawler. Kig efter user-agent-strenge i adgangslogs.
Best practices
- •Tillad alle AI-bots, medmindre du har specifikke grunde til at lade være
- •Hold din robots.txt enkel og veldokumenteret
- •Test ændringer, før du udruller til produktion
- •Overvåg logs for at se, hvilke bots der faktisk besøger
- •Opdater din robots.txt, efterhånden som nye AI-bots dukker op
- •Bloker kun specifikke følsomme mapper, ikke hele sitet
Relaterede ressourcer
- Komplet guide til robots.txt
Fuld guide til konfiguration af robots.txt
- AI-bot-adgang
Forstå bot-adgang til GEO
- Teknisk SEO-tjekliste
Komplet tjekliste til teknisk optimering