O que São User-Agents?
Um user-agent é uma string que identifica qual bot ou navegador está acessando seu site. Os buscadores com IA usam user-agents específicos para que você possa controlar seu acesso no robots.txt.
Entender esses user-agents ajuda você a configurar um acesso amigável ao GEO. Esta referência lista todos os principais bots de IA que você deve conhecer.
Principais User-Agents de Bots de IA
| Nome do Bot | String do User-Agent | Empresa |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (Plugins/Navegação do ChatGPT) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Treinamento) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (recursos de IA) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Exemplos de robots.txt
Permitir Todos os Bots de IA (Recomendado para GEO)
Esta configuração permite que todos os bots de IA rastreiem seu site inteiro:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Bloquear Todos os Bots de IA (Não Recomendado)
Use somente se quiser optar por sair completamente da busca com IA:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Exemplo de Acesso Parcial
Permitir que bots de IA acessem conteúdo público mas bloquear áreas privadas:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Testando sua Configuração
Verifique seu robots.txt
Acesse: https://yoursite.com/robots.txt
Verifique se o arquivo carrega e contém suas configurações para bots de IA.
Use Testadores de Robots.txt
O Google Search Console oferece um testador de robots.txt. Teste diferentes user-agents para verificar sua configuração.
Monitore os Logs do Servidor
Verifique os logs do seu servidor para ver quais bots realmente estão rastreando. Procure pelas strings de user-agent nos logs de acesso.
Melhores Práticas
- •Permita todos os bots de IA, a menos que tenha motivos específicos para não fazê-lo
- •Mantenha seu robots.txt simples e bem documentado
- •Teste as alterações antes de implantar em produção
- •Monitore os logs para ver quais bots realmente visitam o site
- •Atualize seu robots.txt à medida que novos bots de IA surgirem
- •Bloqueie apenas diretórios sensíveis específicos, não o site inteiro
Recursos Relacionados
- Guia Completo de Robots.txt
Guia completo de configuração do robots.txt
- Acesso de Bots de IA
Entendendo o acesso de bots para GEO
- Checklist Técnico de SEO
Checklist completo de otimização técnica