KI-Crawler
CCBot
CCBot ist der Webcrawler von Common Crawl, einer gemeinnützigen Stiftung, die ein offenes Archiv von Webcrawl-Daten aufbaut, das jeder nutzen und auswerten kann.
Einfach erklärt
Common Crawl sagt, es wurde gegründet, um den Zugang zu Webinformationen für alle zu öffnen. Es veröffentlicht seine Crawl-Daten kostenlos, sodass Forschende, Firmen und KI-Entwickler sie herunterladen können.
CCBot gibt sich in seinem User-Agent als CCBot/2.0 zu erkennen.
Beispiel
Daten von Common Crawl wurden zum Training großer Sprachmodelle genutzt. Laut dem GPT-3-Paper von OpenAI aus dem Jahr 2020 stammte zum Beispiel der Großteil der Trainingsdaten aus Common Crawl, nach Qualität gefiltert.
User-agent: CCBot
Disallow: /Warum es für die KI-Suche zählt
Weil die Daten offen sind, kann ein Crawl in vielen verschiedenen Datensätzen und Modellen landen.
Common Crawl warnt, dass sich manche Crawler fälschlich als CCBot ausgeben.
Was Sie tun können
- Entscheiden Sie, ob Ihre Seiten in einem offenen Webarchiv landen sollen, das andere weiterverwenden.
- Wenn nicht, fügen Sie die CCBot-Gruppe von oben in Ihre robots.txt ein.
- Prüfen Sie verdächtigen CCBot-Traffic, bevor Sie dem Namen glauben, wie Common Crawl es empfiehlt.
Ausprobieren: Kostenloser robots.txt-Generator
Oft verwechselt mit
- GPTBot
- GPTBot sammelt Daten nur für OpenAI. CCBot sammelt Daten für ein öffentliches Archiv, das alle nutzen können.
Kurz und knapp
- Betreiber
- Common Crawl
- Name in robots.txt
- CCBot
Quellen
Fakten und Quellen zuletzt geprüft am 19. Oktober 2026.
Verwandte Begriffe
Wie schlägt sich Ihre Seite in der KI-Suche?
GEO-Score prüft eine Seite anhand von 22 Signalen, vom Zugang für KI-Crawler bis zu strukturierten Daten, und zeigt, was Sie zuerst beheben sollten.
Seite analysieren