AI-crawlere
CCBot
CCBot er webcrawleren fra Common Crawl, en nonprofitorganisation, der bygger et åbent arkiv af webdata, som alle kan tilgå og analysere.
Med enkle ord
Common Crawl siger, at det blev startet for at demokratisere adgangen til information på nettet. Det udgiver sine data gratis, så forskere, virksomheder og AI-udviklere kan hente dem.
CCBot præsenterer sig som CCBot/2.0 i sin user agent.
Eksempel
Data fra Common Crawl er blevet brugt til at træne store sprogmodeller. OpenAIs GPT-3-artikel fra 2020 siger fx, at det meste af træningsdataene kom fra Common Crawl, filtreret for kvalitet.
User-agent: CCBot
Disallow: /Hvorfor det betyder noget for AI-søgning
Fordi dataene er åbne, kan én crawl ende i mange forskellige datasæt og modeller.
Common Crawl advarer om, at nogle crawlere udgiver sig for at være CCBot.
Det kan du gøre
- Beslut, om du vil have dine sider med i et åbent webarkiv, som andre genbruger.
- Vil du ikke det, så tilføj CCBot-gruppen ovenfor i din robots.txt.
- Tjek mistænkelig trafik fra CCBot, før du stoler på navnet, som Common Crawl anbefaler.
Prøv det: Gratis robots.txt-generator
Forveksles ofte med
- GPTBot
- GPTBot indsamler kun data til OpenAI. CCBot indsamler data til et offentligt arkiv, som alle kan bruge.
Hurtige fakta
- Drives af
- Common Crawl
- Navn i robots.txt
- CCBot
Kilder
Fakta og kilder sidst tjekket 19. oktober 2026.
Relaterede begreber
Hvordan klarer din side sig i AI-søgning?
GEO-Score tjekker en side på 22 signaler, fra adgang for AI-crawlere til strukturerede data, og viser, hvad du skal rette først.
Analysér en side