O que São User-Agents?
Um user-agent é uma string que identifica qual bot ou navegador está acessando seu site. Os buscadores com IA usam user-agents específicos para que você possa controlar seu acesso no robots.txt.
Entender esses user-agents ajuda você a configurar um acesso amigável ao GEO. Esta referência lista todos os principais bots de IA que você deve conhecer.
Principais User-Agents de Bots de IA
| Nome do Bot | String do User-Agent | Empresa |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (Plugins/Navegação do ChatGPT) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Treinamento) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (recursos de IA) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Testando sua Configuração
Verifique seu robots.txt
Acesse:
Verifique se o arquivo carrega e contém suas configurações para bots de IA.
Use Testadores de Robots.txt
O Google Search Console oferece um testador de robots.txt. Teste diferentes user-agents para verificar sua configuração.
Monitore os Logs do Servidor
Verifique os logs do seu servidor para ver quais bots realmente estão rastreando. Procure pelas strings de user-agent nos logs de acesso.
Melhores Práticas
Permita todos os bots de IA, a menos que tenha motivos específicos para não fazê-lo
Mantenha seu robots.txt simples e bem documentado
Teste as alterações antes de implantar em produção
Monitore os logs para ver quais bots realmente visitam o site
Atualize seu robots.txt à medida que novos bots de IA surgirem
Bloqueie apenas diretórios sensíveis específicos, não o site inteiro
Recursos Relacionados
Guia Completo de Robots.txt
Guia completo de configuração do robots.txt
Acesso de Bots de IA
Entendendo o acesso de bots para GEO
Checklist Técnico de SEO
Checklist completo de otimização técnica