¿Qué Son los User-Agents?
Un user-agent es una cadena que identifica qué bot o navegador está accediendo a tu sitio web. Los motores de búsqueda IA usan user-agents específicos para que puedas controlar su acceso en robots.txt.
Entender estos user-agents te ayuda a configurar acceso amigable para GEO. Esta referencia lista todos los bots IA principales que deberías conocer.
User-Agents de Bots IA Principales
| Nombre del Bot | Cadena User-Agent | Empresa |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (Plugins/Browse de ChatGPT) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Entrenamiento) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (funciones IA) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Ejemplos de robots.txt
Permitir Todos los Bots IA (Recomendado para GEO)
Esta configuración permite que todos los bots IA rastreen todo tu sitio:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Bloquear Todos los Bots IA (No Recomendado)
Usa esto solo si quieres excluirte completamente de búsqueda IA:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Ejemplo de Acceso Parcial
Permite bots IA a contenido público pero bloquea áreas privadas:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Probando Tu Configuración
Revisa Tu robots.txt
Visita: https://yoursite.com/robots.txt
Verifica que el archivo cargue y contenga tus configuraciones de bots IA.
Usa Testers de Robots.txt
Google Search Console ofrece un tester de robots.txt. Prueba diferentes user-agents para verificar tu configuración.
Monitorea Logs del Servidor
Revisa tus logs del servidor para ver qué bots realmente están rastreando. Busca las cadenas de user-agent en los logs de acceso.
Mejores Prácticas
- •Permite todos los bots IA a menos que tengas razones específicas para no hacerlo
- •Mantén tu robots.txt simple y bien documentado
- •Prueba cambios antes de implementar en producción
- •Monitorea logs para ver qué bots realmente visitan
- •Actualiza tu robots.txt a medida que emerjan nuevos bots IA
- •Bloquea solo directorios sensibles específicos, no todo el sitio
Recursos Relacionados
- Guía Completa de Robots.txt
Guía completa de configuración de robots.txt
- Acceso de Bots IA
Entendiendo el acceso de bots para GEO
- Lista de Verificación Técnica SEO
Lista de verificación completa de optimización técnica