AI-crawlers
CCBot
CCBot is de webcrawler van Common Crawl, een stichting zonder winstoogmerk die een open verzameling webcrawldata bouwt die iedereen kan gebruiken en analyseren.
In gewone woorden
Common Crawl zegt dat het is opgericht om toegang tot webinformatie voor iedereen mogelijk te maken. Het publiceert zijn crawldata gratis, zodat onderzoekers, bedrijven en AI-ontwikkelaars die allemaal kunnen downloaden.
CCBot maakt zich bekend als CCBot/2.0 in zijn user agent.
Voorbeeld
Data van Common Crawl is gebruikt om grote taalmodellen te trainen. Volgens het GPT-3-artikel van OpenAI uit 2020 kwam bijvoorbeeld het grootste deel van de trainingsdata uit Common Crawl, gefilterd op kwaliteit.
User-agent: CCBot
Disallow: /Waarom het telt voor AI-zoeken
Omdat de data open is, kan één crawl in veel verschillende datasets en modellen terechtkomen.
Common Crawl waarschuwt dat sommige crawlers zich ten onrechte als CCBot voordoen.
Wat je kunt doen
- Beslis of je je pagina’s in een open webarchief wilt dat anderen hergebruiken.
- Zo niet, voeg dan de CCBot-groep van hierboven toe aan je robots.txt.
- Controleer verdacht CCBot-verkeer voordat je de naam gelooft, zoals Common Crawl aanraadt.
Probeer het: Gratis robots.txt-generator
Vaak verward met
- GPTBot
- GPTBot verzamelt data alleen voor OpenAI. CCBot verzamelt data voor een openbaar archief dat iedereen kan gebruiken.
Snelle feiten
- Van
- Common Crawl
- Naam in robots.txt
- CCBot
Bronnen
Feiten en bronnen voor het laatst gecontroleerd op 19 oktober 2026.
Verwante begrippen
Hoe doet jouw pagina het in AI-zoeken?
GEO-Score checkt één pagina op 22 signalen, van toegang voor AI-crawlers tot structured data, en laat zien wat je eerst moet oplossen.
Analyseer een pagina