¿Qué son los user-agents?
Un user-agent es una cadena que identifica qué bot o navegador accede a tu sitio web. Los motores de búsqueda con IA usan user-agents específicos para que puedas controlar su acceso en robots.txt.
Entender estos user-agents te ayuda a configurar un acceso compatible con GEO. Esta referencia lista todos los principales bots de IA que deberías conocer.
Principales user-agents de bots de IA
| Nombre del bot | Cadena de user-agent | Empresa |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (plugins/navegación de ChatGPT) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (entrenamiento) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (funciones de IA) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Ejemplos de robots.txt
Permitir todos los bots de IA (recomendado para GEO)
Esta configuración permite que todos los bots de IA rastreen todo tu sitio:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Bloquear todos los bots de IA (no recomendado)
Usa esto solo si quieres excluirte por completo de la búsqueda con IA:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Ejemplo de acceso parcial
Permite que los bots de IA accedan al contenido público pero bloquea las áreas privadas:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Probar tu configuración
Comprueba tu robots.txt
Visita: https://yoursite.com/robots.txt
Verifica que el archivo se carga y contiene tus configuraciones de bots de IA.
Usa probadores de robots.txt
Google Search Console ofrece un probador de robots.txt. Prueba distintos user-agents para verificar tu configuración.
Monitorea los logs del servidor
Revisa los logs de tu servidor para ver qué bots están rastreando realmente. Busca las cadenas de user-agent en los logs de acceso.
Mejores prácticas
- •Permite todos los bots de IA salvo que tengas razones específicas para no hacerlo
- •Mantén tu robots.txt simple y bien documentado
- •Prueba los cambios antes de desplegar a producción
- •Monitorea los logs para ver qué bots visitan realmente
- •Actualiza tu robots.txt a medida que aparezcan nuevos bots de IA
- •Bloquea solo directorios sensibles concretos, no todo el sitio
Recursos relacionados
- Guía completa de robots.txt
Guía completa para configurar robots.txt
- Acceso de bots de IA
Entender el acceso de los bots para GEO
- Checklist técnica SEO
Checklist completa de optimización técnica