¿Qué son los user-agents?
Un user-agent es una cadena que identifica qué bot o navegador accede a tu sitio web. Los motores de búsqueda con IA usan user-agents específicos para que puedas controlar su acceso en robots.txt.
Entender estos user-agents te ayuda a configurar un acceso compatible con GEO. Esta referencia lista todos los principales bots de IA que deberías conocer.
Principales user-agents de bots de IA
| Nombre del bot | Cadena de user-agent | Empresa |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (plugins/navegación de ChatGPT) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (entrenamiento) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (funciones de IA) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Probar tu configuración
Comprueba tu robots.txt
Visita:
Verifica que el archivo se carga y contiene tus configuraciones de bots de IA.
Usa probadores de robots.txt
Google Search Console ofrece un probador de robots.txt. Prueba distintos user-agents para verificar tu configuración.
Monitorea los logs del servidor
Revisa los logs de tu servidor para ver qué bots están rastreando realmente. Busca las cadenas de user-agent en los logs de acceso.
Mejores prácticas
Permite todos los bots de IA salvo que tengas razones específicas para no hacerlo
Mantén tu robots.txt simple y bien documentado
Prueba los cambios antes de desplegar a producción
Monitorea los logs para ver qué bots visitan realmente
Actualiza tu robots.txt a medida que aparezcan nuevos bots de IA
Bloquea solo directorios sensibles concretos, no todo el sitio
Recursos relacionados
Guía completa de robots.txt
Guía completa para configurar robots.txt
Acceso de bots de IA
Entender el acceso de los bots para GEO
Checklist técnica SEO
Checklist completa de optimización técnica