O Que São User-Agents?
Um user-agent é uma string que identifica qual bot ou navegador está a aceder ao seu site. Os motores de pesquisa IA usam user-agents específicos para que possa controlar o seu acesso no robots.txt.
Compreender estes user-agents ajuda-o a configurar acesso amigável a GEO. Esta referência lista todos os principais bots IA que deve conhecer.
Principais User-Agents de Bots IA
| Nome do Bot | String User-Agent | Empresa |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Treino) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (funcionalidades IA) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Exemplos de robots.txt
Permitir Todos os Bots IA (Recomendado para GEO)
Esta configuração permite que todos os bots IA rastreiem todo o seu site:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Bloquear Todos os Bots IA (Não Recomendado)
Use isto apenas se quiser excluir-se completamente da pesquisa IA:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Exemplo de Acesso Parcial
Permitir bots IA a conteúdo público mas bloquear áreas privadas:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Testar a Sua Configuração
Verificar o Seu robots.txt
Visite: https://yoursite.com/robots.txt
Verifique se o ficheiro carrega e contém as suas configurações de bots IA.
Usar Testadores de Robots.txt
Google Search Console oferece um testador de robots.txt. Teste diferentes user-agents para verificar a sua configuração.
Monitorizar Logs do Servidor
Verifique os seus logs de servidor para ver quais bots estão realmente a rastrear. Procure as strings user-agent nos logs de acesso.
Melhores Práticas
- •Permita todos os bots IA a menos que tenha razões específicas para não o fazer
- •Mantenha o seu robots.txt simples e bem documentado
- •Teste mudanças antes de implementar em produção
- •Monitorize logs para ver quais bots realmente visitam
- •Atualize o seu robots.txt à medida que novos bots IA surgem
- •Bloqueie apenas diretórios sensíveis específicos, não o site inteiro
Recursos Relacionados
- Guia Completo de Robots.txt
Guia completo de configuração robots.txt
- Acesso a Bots IA
Compreender acesso de bots para GEO
- Lista de Verificação SEO Técnica
Lista de verificação de otimização técnica completa