GEO-Score
DienstenOver onsLerenLeaderboardRapportenPrijzenBlog

GEO-Score

De beste GEO-analysetool

Test je content voor AI-zoekmachines zoals ChatGPT, Perplexity en Claude. Krijg concrete inzichten om je zichtbaarheid te verbeteren.

Ontvang GEO-contenttips

Plus ons gratis white paper over waarom ChatGPT websites overslaat.

Resources

  • Knowledge Base
  • Wat is GEO?
  • GEO-blog
  • GEO Score Checker
  • Leaderboard
  • AI-glossary
  • Case studies
  • GEO Insights
  • Rapporten

GEO-tools

  • Complete Website GEO Audit
  • GEO-analyse
  • AI Visibility Checker
  • ROI Calculator
  • Schema Validator
  • Perplexity SEO-checker
  • ChatGPT SEO-checker
  • Google AI-modus-checker
  • AI Crawler Checker
  • Agent-readiness checker
  • llms.txt Generator
  • Query fan-out tool
  • AI Bot Log Analyzer
  • Concurrentievergelijking
  • Professionele diensten
  • Shopify-app
  • Alle tools

Analyseer je

  • Blogposts
  • Productpagina's
  • Landingspagina's
  • Homepagina's
  • Servicepagina's

GEO-Score

  • Over ons
  • Privacybeleid
  • Algemene voorwaarden
  • Contact
  • White Label
  • Build Your Success

Volg GEO-Score

AI-zoekgidsen

AI Search OptimizationPerplexity SEOChatGPT SEOLLM SEOAI Visibility CheckerAI-vindbaarheid van Nederlandse websitesVindbaar in ChatGPTGEO-optimalisatieAlle gidsen →
AVG-conformData gehost in EUGemaakt in Nederland
KVK: 61855111BTW: NL004509498B76© 2026 GEO-score.onlineGEO-Score is onderdeel van Be-Found.
Versterk je blogging met Bloffee
Terug naar dashboardLeerhub
Learn/AI-bot user-agents
Learning Hub

AI-bot user-agents

Elke AI-crawlernaam voor robots.txt: wat hij doet, of hij robots.txt volgt en wat blokkeren verandert. Gecheckt tegen de eigen documentatie van elk bedrijf op 19 oktober 2026.

Laatst bijgewerkt: 3 november 2026

Wat is een user-agentnaam?

Elke bot stuurt bij elk verzoek een naam mee: zijn user-agent. In robots.txt gebruik je de korte vorm van die naam, het token, om een bot eigen regels te geven. Hoofdletters maken niet uit: GPTBot en gptbot zijn dezelfde naam.

AI-bedrijven gebruiken verschillende bots voor verschillende taken. Zoekers vinden pagina's voor AI-zoekmachines, trainingsbots verzamelen pagina's voor training, en helpers openen een pagina als iemand ernaar vraagt. Google-Extended en Applebot-Extended zijn helemaal geen crawlers: ze bepalen alleen hoe pagina's die Google en Apple al crawlen gebruikt mogen worden.

Een trainingsbot blokkeren houdt je pagina's buiten toekomstige training. Een zoeker blokkeren houdt ze buiten de antwoorden van dat product. Benieuwd wat je eigen robots.txt doet? Probeer de gratis AI Crawler Checker.

Namen van AI-bots, gecheckt tegen de documentatie van elk bedrijf

Naam in robots.txtBedrijfWat hij doetVolgt robots.txt?
DiffbotDiffbotOnduidelijk, geen documentatieOnbekend
OAI-SearchBotOpenAIZoekt pagina's voor AI-zoekenJa
GPTBotOpenAIVerzamelt pagina's voor AI-trainingJa
ChatGPT-UserOpenAIOpent pagina's als een gebruiker vraagtNiet altijd, zegt OpenAI
Claude-SearchBotAnthropicZoekt pagina's voor AI-zoekenJa
ClaudeBotAnthropicVerzamelt pagina's voor AI-trainingJa
Claude-UserAnthropicOpent pagina's als een gebruiker vraagtJa
PerplexityBotPerplexityZoekt pagina's voor AI-zoekenJa
Perplexity-UserPerplexityOpent pagina's als een gebruiker vraagtMeestal niet, zegt Perplexity
GooglebotGoogleZoekmachine, voedt ook AI-antwoordenJa
Google-ExtendedGoogleInstelling, geen crawlerJa
Google-AgentGoogleOpent pagina's als een gebruiker vraagtMeestal niet, zegt Google
bingbotMicrosoftZoekmachine, voedt ook AI-antwoordenJa
ApplebotAppleZoekmachine, voedt ook AI-antwoordenJa
Applebot-ExtendedAppleInstelling, geen crawlerJa
meta-externalagentMetaVerzamelt pagina's voor AI-trainingJa
meta-webindexerMetaZoekt pagina's voor AI-zoekenJa
meta-externalfetcherMetaOpent pagina's als een gebruiker vraagtNiet altijd, zegt Meta
AmazonbotAmazonVerzamelt pagina's voor AI-trainingJa
Amzn-SearchBotAmazonZoekt pagina's voor AI-zoekenJa
Amzn-UserAmazonOpent pagina's als een gebruiker vraagtNiet altijd, zegt Amazon
DuckAssistBotDuckDuckGoZoekt pagina's voor AI-zoekenJa
MistralAI-UserMistral AIOpent pagina's als een gebruiker vraagtJa
MistralAI-IndexMistral AIZoekt pagina's voor AI-zoekenNiet vermeld door Mistral AI
MistralAI-TrainingMistral AIVerzamelt pagina's voor AI-trainingJa
CCBotCommon CrawlVerzamelt pagina's voor AI-trainingJa
BytespiderByteDanceOnduidelijk, geen documentatieOnbekend
cohere-aiCohereOnduidelijk, geen documentatieOnbekend
OmgilibotOmgiliOnduidelijk, geen documentatieOnbekend

Check je instellingen

Gebruik de AI Crawler Checker

Vul je site in bij de AI Crawler Checker. Die leest je robots.txt zoals elke bot dat doet en toont de precieze regel die beslist.

Open je robots.txt

Ga in je browser naar jouwsite.nl/robots.txt. Het bestand moet als platte tekst laden, niet als webpagina.

Kijk in je serverlogs

Zoek in je toegangslogs naar de namen hierboven. Iedereen kan de naam van een bot meesturen, dus OpenAI, Anthropic, Perplexity en Common Crawl publiceren IP-lijsten waarmee je echte bezoeken kunt controleren.

Goede gewoontes

Kies per bot, niet alles of niets: zoekers, trainingsbots en helpers doen ander werk.

Geef een bot alleen een eigen groep als hij andere regels nodig heeft, en herhaal gedeelde regels in die groep.

Elke host en elk subdomein heeft een eigen robots.txt in de hoofdmap nodig.

Blokkeer AI-bots niet op IP-adres als je wilt dat ze je regels lezen. Anthropic waarschuwt dat een IP-blokkade zijn bots verhindert robots.txt te lezen.

Geef een wijziging ongeveer een dag: OpenAI, Perplexity, Meta en Amazon noemen zo'n 24 uur, DuckDuckGo tot 72 uur.

Check ook je firewall of CDN. robots.txt is een verzoek, geen slot.

Gerelateerd

robots.txt uitgelegd

Hoe robots.txt werkt, regel voor regel

AI Crawler Checker

Zie welke AI-bots je robots.txt en server binnenlaten

Gids: toegang voor AI-crawlers

Stel robots.txt stap voor stap in voor AI-bots

robots.txt-generator

Maak een robots.txt met je eigen keuze per bot

Multi-platform AI-optimalisatiestrategie | GEO-ScoreVeelvoorkomende GEO-fouten: 15 fouten die AI-rankings schaden

Leer hoe je je content optimaliseert voor AI-zoekmachines

Bekijk alle leerbronnen