Wat zijn user-agents?
Een user-agent is een string die identificeert welke bot of browser je website bezoekt. AI-zoekmachines gebruiken specifieke user-agents zodat je hun toegang in robots.txt kunt regelen.
Inzicht in deze user-agents helpt je om GEO-vriendelijke toegang in te richten. Deze referentie bevat alle belangrijke AI-bots die je moet kennen.
Belangrijkste AI-bot user-agents
| Botnaam | User-agent string | Bedrijf |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (training) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI-functies) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
robots.txt-voorbeelden
Alle AI-bots toestaan (aanbevolen voor GEO)
Deze configuratie staat alle AI-bots toe om je hele site te crawlen:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Alle AI-bots blokkeren (niet aanbevolen)
Gebruik dit alleen als je volledig wilt afzien van AI-zoekmachines:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Voorbeeld van gedeeltelijke toegang
AI-bots toegang geven tot publieke content maar privégebieden blokkeren:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Je configuratie testen
Controleer je robots.txt
Bezoek: https://yoursite.com/robots.txt
Controleer of het bestand laadt en je AI-bot-configuraties bevat.
Gebruik robots.txt-testers
Google Search Console biedt een robots.txt-tester. Test verschillende user-agents om je configuratie te verifiëren.
Monitor serverlogs
Bekijk je serverlogs om te zien welke bots daadwerkelijk crawlen. Zoek naar de user-agent strings in de toegangslogs.
Best practices
- •Sta alle AI-bots toe tenzij je specifieke redenen hebt om dat niet te doen
- •Houd je robots.txt eenvoudig en goed gedocumenteerd
- •Test wijzigingen voordat je ze naar productie pusht
- •Monitor logs om te zien welke bots daadwerkelijk langskomen
- •Werk je robots.txt bij wanneer er nieuwe AI-bots verschijnen
- •Blokkeer alleen specifieke gevoelige directories, niet de hele site
Gerelateerde bronnen
- Volledige gids voor robots.txt
Volledige gids voor robots.txt-configuratie
- AI-bot toegang
Bot-toegang begrijpen voor GEO
- Technische SEO-checklist
Complete technische optimalisatie-checklist