Wat zijn user-agents?
Een user-agent is een string die identificeert welke bot of browser je website bezoekt. AI-zoekmachines gebruiken specifieke user-agents zodat je hun toegang in robots.txt kunt regelen.
Inzicht in deze user-agents helpt je om GEO-vriendelijke toegang in te richten. Deze referentie bevat alle belangrijke AI-bots die je moet kennen.
Belangrijkste AI-bot user-agents
| Botnaam | User-agent string | Bedrijf |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (training) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI-functies) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Je configuratie testen
Controleer je robots.txt
Bezoek:
Controleer of het bestand laadt en je AI-bot-configuraties bevat.
Gebruik robots.txt-testers
Google Search Console biedt een robots.txt-tester. Test verschillende user-agents om je configuratie te verifiëren.
Monitor serverlogs
Bekijk je serverlogs om te zien welke bots daadwerkelijk crawlen. Zoek naar de user-agent strings in de toegangslogs.
Best practices
Sta alle AI-bots toe tenzij je specifieke redenen hebt om dat niet te doen
Houd je robots.txt eenvoudig en goed gedocumenteerd
Test wijzigingen voordat je ze naar productie pusht
Monitor logs om te zien welke bots daadwerkelijk langskomen
Werk je robots.txt bij wanneer er nieuwe AI-bots verschijnen
Blokkeer alleen specifieke gevoelige directories, niet de hele site
Gerelateerde bronnen
Volledige gids voor robots.txt
Volledige gids voor robots.txt-configuratie
AI-bot toegang
Bot-toegang begrijpen voor GEO
Technische SEO-checklist
Complete technische optimalisatie-checklist