AI-crawlers
CCBot
CCBot är webbcrawlern från Common Crawl, en ideell organisation som bygger ett öppet arkiv med webbdata som alla kan komma åt och analysera.
Med enkla ord
Common Crawl säger att det startades för att demokratisera tillgången till information på webben. Det publicerar sina data gratis, så att forskare, företag och AI-utvecklare kan ladda ner dem.
CCBot presenterar sig som CCBot/2.0 i sin user agent.
Exempel
Data från Common Crawl har använts för att träna stora språkmodeller. OpenAIs GPT-3-artikel från 2020 säger till exempel att det mesta av träningsdatan kom från Common Crawl, filtrerat för kvalitet.
User-agent: CCBot
Disallow: /Varför det spelar roll för AI-sök
Eftersom datan är öppen kan en enda crawl hamna i många olika dataset och modeller.
Common Crawl varnar för att vissa crawlers utger sig för att vara CCBot.
Det här kan du göra
- Bestäm om du vill ha dina sidor i ett öppet webbarkiv som andra återanvänder.
- Vill du inte det, lägg till CCBot-gruppen ovan i din robots.txt.
- Kontrollera misstänkt trafik från CCBot innan du litar på namnet, som Common Crawl rekommenderar.
Testa: Gratis robots.txt-generator
Förväxlas ofta med
- GPTBot
- GPTBot samlar bara in data åt OpenAI. CCBot samlar in data till ett offentligt arkiv som alla kan använda.
Snabbfakta
- Drivs av
- Common Crawl
- Namn i robots.txt
- CCBot
Källor
Fakta och källor senast kontrollerade 19 oktober 2026.
Relaterade begrepp
Hur klarar sig din sida i AI-sök?
GEO-Score kontrollerar en sida på 22 signaler, från åtkomst för AI-crawlers till strukturerad data, och visar vad du ska åtgärda först.
Analysera en sida