Hvad er user-agents?
En user-agent er en streng, der identificerer, hvilken bot eller browser der tilgår din hjemmeside. AI-søgemaskiner bruger specifikke user-agents, så du kan styre deres adgang i robots.txt.
At forstå disse user-agents hjælper dig med at konfigurere GEO-venlig adgang. Denne reference viser alle de største AI-bots, du bør kende til.
Større AI-bot user-agents
| Bot-navn | User-agent-streng | Virksomhed |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (træning) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI-funktioner) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Test din konfiguration
Tjek din robots.txt
Besøg:
Verificér at filen indlæses og indeholder dine AI-bot-konfigurationer.
Brug robots.txt-testere
Google Search Console tilbyder en robots.txt-tester. Test forskellige user-agents for at verificere din konfiguration.
Overvåg serverlogs
Tjek dine serverlogs for at se, hvilke bots der faktisk crawler. Kig efter user-agent-strenge i adgangslogs.
Best practices
Tillad alle AI-bots, medmindre du har specifikke grunde til at lade være
Hold din robots.txt enkel og veldokumenteret
Test ændringer, før du udruller til produktion
Overvåg logs for at se, hvilke bots der faktisk besøger
Opdater din robots.txt, efterhånden som nye AI-bots dukker op
Bloker kun specifikke følsomme mapper, ikke hele sitet
Relaterede ressourcer
Komplet guide til robots.txt
Fuld guide til konfiguration af robots.txt
AI-bot-adgang
Forstå bot-adgang til GEO
Teknisk SEO-tjekliste
Komplet tjekliste til teknisk optimering