Wat zijn User-Agents?
Een user-agent is een string die identificeert welke bot of browser toegang krijgt tot je website. AI-zoekmachines gebruiken specifieke user-agents zodat je hun toegang kunt regelen in robots.txt.
Het begrijpen van deze user-agents helpt je GEO-vriendelijke toegang te configureren. Deze referentie somt alle belangrijke AI-bots op die je moet kennen.
Belangrijkste AI Bot User-Agents
| Bot naam | User-Agent String | Bedrijf |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Training) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI features) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
robots.txt voorbeelden
Sta alle AI-bots toe (Aanbevolen voor GEO)
Deze configuratie staat alle AI-bots toe om je hele site te crawlen:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Blokkeer alle AI-bots (Niet aanbevolen)
Gebruik dit alleen als je volledig wilt uitschrijven uit AI-zoekopdrachten:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Gedeeltelijke toegang voorbeeld
Sta AI-bots toe tot publieke content maar blokkeer privégebieden:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Je configuratie testen
Controleer je robots.txt
Bezoek: https://yoursite.com/robots.txt
Verifieer dat het bestand laadt en je AI-botconfiguraties bevat.
Gebruik Robots.txt Testers
Google Search Console biedt een robots.txt tester. Test verschillende user-agents om je configuratie te verifiëren.
Monitor serverlogs
Controleer je serverlogs om te zien welke bots daadwerkelijk crawlen. Zoek naar de user-agent strings in toegangslogs.
Best practices
- •Sta alle AI-bots toe tenzij je specifieke redenen hebt om niet te doen
- •Houd je robots.txt eenvoudig en goed gedocumenteerd
- •Test wijzigingen voordat je naar productie gaat
- •Monitor logs om te zien welke bots daadwerkelijk bezoeken
- •Update je robots.txt wanneer nieuwe AI-bots opkomen
- •Blokkeer alleen specifieke gevoelige directories, niet de hele site
Gerelateerde bronnen
- Robots.txt volledige gids
Volledige gids voor robots.txt configuratie
- AI Bot-toegang
Bot-toegang voor GEO begrijpen
- Technische SEO Checklist
Complete technische optimalisatie checklist