AI-crawlers
ClaudeBot
Ook wel: Claude-User
ClaudeBot is de webcrawler van Anthropic die content verzamelt die kan bijdragen aan het trainen van zijn generatieve AI-modellen.
In gewone woorden
Anthropic heeft drie bots. ClaudeBot is voor training, Claude-User haalt pagina’s op als iemand Claude iets vraagt, en Claude-SearchBot werkt aan de kwaliteit van zoekresultaten.
Beperkt een site ClaudeBot, dan zegt Anthropic dat dit aangeeft dat toekomstige content van die site buiten zijn trainingsdatasets moet blijven.
Voorbeeld
Het fragment hieronder is het eigen voorbeeld van Anthropic om ClaudeBot voor een hele site te blokkeren. Anthropic voegt eraan toe dat je dit moet doen voor elk subdomein dat je wilt afmelden.
User-agent: ClaudeBot
Disallow: /Waarom het telt voor AI-zoeken
ClaudeBot blokkeren gaat over training. Anthropic zegt dat Claude-User of Claude-SearchBot uitzetten de zichtbaarheid van je site in zoeken kan verminderen.
Anthropic zegt ook dat zijn IP-adressen blokkeren misschien niet betrouwbaar werkt, omdat de bots dan je robots.txt niet kunnen lezen.
Wat je kunt doen
- Meld je af via robots.txt in plaats van IP-blokkades, zoals Anthropic aanraadt.
- Beslis los over ClaudeBot (training) en Claude-SearchBot (zoeken).
- Komen de bots te vaak langs, voeg dan een Crawl-delay-regel toe; Anthropic zegt deze niet-standaard extensie te ondersteunen.
Probeer het: Gratis robots.txt-generator
Vaak verward met
- Claude-User
- Claude-User bezoekt een pagina als iemand Claude een vraag stelt. Blokkeer je hem, dan kan Claude je content voor die gebruikers niet ophalen.
- Claude-SearchBot
- Claude-SearchBot indexeert content om de zoekresultaten van Claude te verbeteren.
Snelle feiten
- Van
- Anthropic
- Naam in robots.txt
- ClaudeBot, Claude-User
- Officiële IP-lijst
- crawling/bots.json
Bronnen
Feiten en bronnen voor het laatst gecontroleerd op 19 oktober 2026.
Verwante begrippen
Hoe doet jouw pagina het in AI-zoeken?
GEO-Score checkt één pagina op 22 signalen, van toegang voor AI-crawlers tot structured data, en laat zien wat je eerst moet oplossen.
Analyseer een pagina