AI-crawlere
CCBot
CCBot er nettcrawleren til Common Crawl, en ideell organisasjon som bygger et åpent arkiv av nettdata som alle kan få tilgang til og analysere.
Med enkle ord
Common Crawl sier at det ble startet for å demokratisere tilgangen til informasjon på nettet. Det publiserer dataene gratis, så forskere, selskaper og AI-utviklere kan laste dem ned.
CCBot presenterer seg som CCBot/2.0 i user agenten sin.
Eksempel
Data fra Common Crawl er brukt til å trene store språkmodeller. OpenAIs GPT-3-artikkel fra 2020 sier for eksempel at mesteparten av treningsdataene kom fra Common Crawl, filtrert for kvalitet.
User-agent: CCBot
Disallow: /Hvorfor det betyr noe for AI-søk
Fordi dataene er åpne, kan én crawl havne i mange ulike datasett og modeller.
Common Crawl advarer om at noen crawlere utgir seg for å være CCBot.
Dette kan du gjøre
- Bestem deg for om du vil ha sidene dine med i et åpent nettarkiv som andre gjenbruker.
- Vil du ikke det, legg CCBot-gruppen ovenfor til i robots.txt.
- Sjekk mistenkelig trafikk fra CCBot før du stoler på navnet, slik Common Crawl anbefaler.
Prøv det: Gratis robots.txt-generator
Forveksles ofte med
- GPTBot
- GPTBot samler bare inn data for OpenAI. CCBot samler inn data til et offentlig arkiv som alle kan bruke.
Kjappe fakta
- Drives av
- Common Crawl
- Navn i robots.txt
- CCBot
Kilder
Fakta og kilder sist sjekket 19. oktober 2026.
Relaterte begreper
Hvordan gjør siden din det i AI-søk?
GEO-Score sjekker en side på 22 signaler, fra tilgang for AI-crawlere til strukturerte data, og viser hva du bør fikse først.
Analyser en side