Rastreadores de IA
CCBot
CCBot é o rastreador web do Common Crawl, uma organização sem fins lucrativos que cria um arquivo aberto de dados da web que qualquer pessoa pode acessar e analisar.
Em palavras simples
O Common Crawl diz que nasceu para democratizar o acesso às informações da web. Ele publica seus dados de graça, então pesquisadores, empresas e desenvolvedores de IA podem baixá-los.
O CCBot se identifica como CCBot/2.0 no user agent.
Exemplo
Os dados do Common Crawl já foram usados para treinar grandes modelos de linguagem. O artigo do GPT-3 da OpenAI, de 2020, diz por exemplo que a maior parte dos dados de treinamento veio do Common Crawl, filtrado por qualidade.
User-agent: CCBot
Disallow: /Por que importa para a busca com IA
Como os dados são abertos, um único rastreamento pode acabar em muitos conjuntos de dados e modelos diferentes.
O Common Crawl avisa que alguns rastreadores fingem ser o CCBot.
O que você pode fazer
- Decida se você quer suas páginas em um arquivo aberto da web que outros reutilizam.
- Se não quiser, adicione ao seu robots.txt o grupo do CCBot acima.
- Verifique tráfego suspeito do CCBot antes de confiar no nome, como o Common Crawl recomenda.
Experimente: Gerador de robots.txt gratuito
Muitas vezes confundido com
- GPTBot
- O GPTBot coleta dados só para a OpenAI. O CCBot coleta dados para um arquivo público que qualquer pessoa pode usar.
Dados rápidos
- Operado por
- Common Crawl
- Nome no robots.txt
- CCBot
Fontes
Fatos e fontes verificados pela última vez em 19 de outubro de 2026.
Termos relacionados
Como sua página se sai na busca com IA?
O GEO-Score verifica uma página em 22 sinais, do acesso dos rastreadores de IA aos dados estruturados, e mostra o que corrigir primeiro.
Analisar uma página