O que é um nome de user-agent?
Todo bot envia um nome em cada requisição: o user-agent. No robots.txt, você usa a forma curta desse nome, o token, para dar a um bot regras próprias. Maiúsculas não importam: GPTBot e gptbot são o mesmo nome.
As empresas de IA usam bots diferentes para tarefas diferentes. Os buscadores encontram páginas para a busca com IA, os aprendizes coletam páginas para treino, e os ajudantes abrem uma página quando alguém pergunta sobre ela. O Google-Extended e o Applebot-Extended nem são crawlers: eles só decidem como podem ser usadas as páginas que o Google e a Apple já rastreiam.
Bloquear um aprendiz deixa suas páginas fora de treinos futuros. Bloquear um buscador as deixa fora das respostas daquele produto. Quer ver o que seu próprio robots.txt faz? Experimente o verificador de crawlers de IA grátis.
Nomes de bots de IA, conferidos na documentação de cada empresa
| Nome no robots.txt | Empresa | O que faz | Segue o robots.txt? |
|---|---|---|---|
| Diffbot | Diffbot | Incerto, sem documentação | Desconhecido |
| OAI-SearchBot | OpenAI | Encontra páginas para a busca com IA | Sim |
| GPTBot | OpenAI | Coleta páginas para treino de IA | Sim |
| ChatGPT-User | OpenAI | Abre páginas quando um usuário pede | Nem sempre, segundo OpenAI |
| Claude-SearchBot | Anthropic | Encontra páginas para a busca com IA | Sim |
| ClaudeBot | Anthropic | Coleta páginas para treino de IA | Sim |
| Claude-User | Anthropic | Abre páginas quando um usuário pede | Sim |
| PerplexityBot | Perplexity | Encontra páginas para a busca com IA | Sim |
| Perplexity-User | Perplexity | Abre páginas quando um usuário pede | Geralmente não, segundo Perplexity |
| Googlebot | Buscador, também alimenta respostas de IA | Sim | |
| Google-Extended | Configuração, não é crawler | Sim | |
| Google-Agent | Abre páginas quando um usuário pede | Geralmente não, segundo Google | |
| bingbot | Microsoft | Buscador, também alimenta respostas de IA | Sim |
| Applebot | Apple | Buscador, também alimenta respostas de IA | Sim |
| Applebot-Extended | Apple | Configuração, não é crawler | Sim |
| meta-externalagent | Meta | Coleta páginas para treino de IA | Sim |
| meta-webindexer | Meta | Encontra páginas para a busca com IA | Sim |
| meta-externalfetcher | Meta | Abre páginas quando um usuário pede | Nem sempre, segundo Meta |
| Amazonbot | Amazon | Coleta páginas para treino de IA | Sim |
| Amzn-SearchBot | Amazon | Encontra páginas para a busca com IA | Sim |
| Amzn-User | Amazon | Abre páginas quando um usuário pede | Nem sempre, segundo Amazon |
| DuckAssistBot | DuckDuckGo | Encontra páginas para a busca com IA | Sim |
| MistralAI-User | Mistral AI | Abre páginas quando um usuário pede | Sim |
| MistralAI-Index | Mistral AI | Encontra páginas para a busca com IA | Não informado por Mistral AI |
| MistralAI-Training | Mistral AI | Coleta páginas para treino de IA | Sim |
| CCBot | Common Crawl | Coleta páginas para treino de IA | Sim |
| Bytespider | ByteDance | Incerto, sem documentação | Desconhecido |
| cohere-ai | Cohere | Incerto, sem documentação | Desconhecido |
| Omgilibot | Omgili | Incerto, sem documentação | Desconhecido |
Confira sua configuração
Use o verificador de crawlers de IA
Digite seu site no verificador de crawlers de IA. Ele lê seu robots.txt como cada bot lê e mostra a linha exata que decide.
Abra seu robots.txt
Acesse seusite.com.br/robots.txt no navegador. Ele deve carregar como texto simples, não como página web.
Olhe os logs do servidor
Procure os nomes acima nos seus logs de acesso. Qualquer um pode enviar o nome de um bot, por isso OpenAI, Anthropic, Perplexity e Common Crawl publicam listas de IP para verificar visitas reais.
Bons hábitos
Decida bot a bot, não tudo ou nada: buscadores, aprendizes e ajudantes fazem trabalhos diferentes.
Dê a um bot um grupo próprio só se ele precisar de regras diferentes, e repita nesse grupo as regras em comum.
Cada host e cada subdomínio precisa do próprio robots.txt na raiz.
Não bloqueie bots de IA por endereço IP se você quer que eles leiam suas regras. A Anthropic avisa que um bloqueio por IP impede os bots dela de ler o robots.txt.
Dê cerca de um dia para cada mudança: OpenAI, Perplexity, Meta e Amazon falam em umas 24 horas, o DuckDuckGo em até 72 horas.
Confira também seu firewall ou sua CDN. O robots.txt é um pedido, não uma fechadura.
Recursos relacionados
Como o robots.txt funciona, regra por regra
Veja quais bots de IA seu robots.txt e seu servidor deixam entrar
Guia de acesso de crawlers de IA
Configure o robots.txt para bots de IA passo a passo
Crie um robots.txt com sua própria escolha para cada bot