Rastreadores de IA
CCBot
CCBot es el rastreador web de Common Crawl, una fundación sin ánimo de lucro que crea un archivo abierto de datos de la web que cualquiera puede consultar y analizar.
En palabras sencillas
Common Crawl dice que nació para democratizar el acceso a la información de la web. Publica sus datos gratis, así que investigadores, empresas y desarrolladores de IA pueden descargarlos.
CCBot se identifica como CCBot/2.0 en su user agent.
Ejemplo
Los datos de Common Crawl se han usado para entrenar grandes modelos de lenguaje. El artículo de GPT-3 de OpenAI, de 2020, dice por ejemplo que la mayoría de sus datos de entrenamiento venían de Common Crawl, filtrado por calidad.
User-agent: CCBot
Disallow: /Por qué importa para la búsqueda con IA
Como los datos son abiertos, un solo rastreo puede acabar en muchos conjuntos de datos y modelos distintos.
Common Crawl avisa de que algunos rastreadores se hacen pasar por CCBot.
Qué puedes hacer
- Decide si quieres tus páginas en un archivo web abierto que otros reutilizan.
- Si no, añade a tu robots.txt el grupo de CCBot de arriba.
- Comprueba el tráfico sospechoso de CCBot antes de fiarte del nombre, como recomienda Common Crawl.
Pruébalo: Generador de robots.txt gratuito
Se confunde a menudo con
- GPTBot
- GPTBot recopila datos solo para OpenAI. CCBot recopila datos para un archivo público que cualquiera puede usar.
Datos rápidos
- Operado por
- Common Crawl
- Nombre en robots.txt
- CCBot
Fuentes
Datos y fuentes revisados por última vez el 19 de octubre de 2026.
Términos relacionados
¿Qué tal le va a tu página en la búsqueda con IA?
GEO-Score revisa una página con 22 señales, desde el acceso de los rastreadores de IA hasta los datos estructurados, y te muestra qué arreglar primero.
Analizar una página