Robots d’exploration IA
CCBot
CCBot est le robot d’exploration de Common Crawl, une fondation à but non lucratif qui constitue une archive ouverte de données du web que tout le monde peut consulter et analyser.
En termes simples
Common Crawl dit avoir été créé pour démocratiser l’accès à l’information du web. Il publie ses données gratuitement, que chercheurs, entreprises et développeurs d’IA peuvent télécharger.
CCBot s’identifie comme CCBot/2.0 dans son user agent.
Exemple
Les données de Common Crawl ont servi à entraîner de grands modèles de langage. L’article GPT-3 d’OpenAI de 2020 indique par exemple que la majeure partie de ses données d’entraînement venait de Common Crawl, filtré selon la qualité.
User-agent: CCBot
Disallow: /Pourquoi c’est important pour la recherche IA
Comme les données sont ouvertes, une seule exploration peut finir dans de nombreux jeux de données et modèles.
Common Crawl prévient que certains robots se font passer à tort pour CCBot.
Ce que vous pouvez faire
- Décidez si vous voulez que vos pages figurent dans une archive ouverte que d’autres réutilisent.
- Sinon, ajoutez le groupe CCBot ci-dessus à votre robots.txt.
- Vérifiez le trafic CCBot suspect avant de croire le nom, comme le recommande Common Crawl.
À essayer: Générateur de robots.txt gratuit
Souvent confondu avec
- GPTBot
- GPTBot collecte des données pour OpenAI seulement. CCBot collecte pour une archive publique utilisable par tous.
L’essentiel
- Exploité par
- Common Crawl
- Nom dans robots.txt
- CCBot
Sources
Faits et sources vérifiés pour la dernière fois le 19 octobre 2026.
Termes liés
Comment votre page s’en sort-elle dans la recherche IA ?
GEO-Score analyse une page selon 22 signaux, de l’accès des robots IA aux données structurées, et vous montre quoi corriger en premier.
Analyser une page