¿Qué es un nombre de user-agent?
Cada bot envía un nombre con cada petición: su user-agent. En robots.txt usas la forma corta de ese nombre, el token, para dar a un bot sus propias reglas. Las mayúsculas no importan: GPTBot y gptbot son el mismo nombre.
Las empresas de IA usan bots distintos para tareas distintas. Los buscadores encuentran páginas para la búsqueda con IA, los aprendices recogen páginas para entrenar, y los ayudantes abren una página cuando alguien pregunta por ella. Google-Extended y Applebot-Extended no son crawlers: solo deciden cómo se pueden usar las páginas que Google y Apple ya rastrean.
Bloquear un aprendiz deja tus páginas fuera de futuros entrenamientos. Bloquear un buscador las deja fuera de las respuestas de ese producto. ¿Quieres ver qué hace tu propio robots.txt? Prueba el comprobador de crawlers de IA gratis.
Nombres de bots de IA, comprobados con la documentación de cada empresa
| Nombre en robots.txt | Empresa | Qué hace | ¿Sigue robots.txt? |
|---|---|---|---|
| Diffbot | Diffbot | Poco claro, sin documentación | Desconocido |
| OAI-SearchBot | OpenAI | Encuentra páginas para la búsqueda con IA | Sí |
| GPTBot | OpenAI | Recoge páginas para entrenar IA | Sí |
| ChatGPT-User | OpenAI | Abre páginas cuando un usuario lo pide | No siempre, según OpenAI |
| Claude-SearchBot | Anthropic | Encuentra páginas para la búsqueda con IA | Sí |
| ClaudeBot | Anthropic | Recoge páginas para entrenar IA | Sí |
| Claude-User | Anthropic | Abre páginas cuando un usuario lo pide | Sí |
| PerplexityBot | Perplexity | Encuentra páginas para la búsqueda con IA | Sí |
| Perplexity-User | Perplexity | Abre páginas cuando un usuario lo pide | Normalmente no, según Perplexity |
| Googlebot | Buscador, también alimenta respuestas de IA | Sí | |
| Google-Extended | Ajuste, no es un crawler | Sí | |
| Google-Agent | Abre páginas cuando un usuario lo pide | Normalmente no, según Google | |
| bingbot | Microsoft | Buscador, también alimenta respuestas de IA | Sí |
| Applebot | Apple | Buscador, también alimenta respuestas de IA | Sí |
| Applebot-Extended | Apple | Ajuste, no es un crawler | Sí |
| meta-externalagent | Meta | Recoge páginas para entrenar IA | Sí |
| meta-webindexer | Meta | Encuentra páginas para la búsqueda con IA | Sí |
| meta-externalfetcher | Meta | Abre páginas cuando un usuario lo pide | No siempre, según Meta |
| Amazonbot | Amazon | Recoge páginas para entrenar IA | Sí |
| Amzn-SearchBot | Amazon | Encuentra páginas para la búsqueda con IA | Sí |
| Amzn-User | Amazon | Abre páginas cuando un usuario lo pide | No siempre, según Amazon |
| DuckAssistBot | DuckDuckGo | Encuentra páginas para la búsqueda con IA | Sí |
| MistralAI-User | Mistral AI | Abre páginas cuando un usuario lo pide | Sí |
| MistralAI-Index | Mistral AI | Encuentra páginas para la búsqueda con IA | Mistral AI no lo indica |
| MistralAI-Training | Mistral AI | Recoge páginas para entrenar IA | Sí |
| CCBot | Common Crawl | Recoge páginas para entrenar IA | Sí |
| Bytespider | ByteDance | Poco claro, sin documentación | Desconocido |
| cohere-ai | Cohere | Poco claro, sin documentación | Desconocido |
| Omgilibot | Omgili | Poco claro, sin documentación | Desconocido |
Comprueba tu configuración
Usa el comprobador de crawlers de IA
Escribe tu web en el comprobador de crawlers de IA. Lee tu robots.txt como cada bot y muestra la línea exacta que decide.
Abre tu robots.txt
Visita tuweb.es/robots.txt en un navegador. Debe cargar como texto plano, no como una página web.
Revisa los registros de tu servidor
Busca los nombres de arriba en tus registros de acceso. Cualquiera puede enviar el nombre de un bot, por eso OpenAI, Anthropic, Perplexity y Common Crawl publican listas de IP para verificar las visitas reales.
Buenos hábitos
Decide bot a bot, no todo o nada: buscadores, aprendices y ayudantes hacen tareas distintas.
Da a un bot un grupo propio solo si necesita reglas distintas, y repite en ese grupo las reglas compartidas.
Cada host y cada subdominio necesita su propio robots.txt en la raíz.
No bloquees bots de IA por dirección IP si quieres que lean tus reglas. Anthropic avisa de que un bloqueo por IP impide a sus bots leer robots.txt.
Dale un día a cada cambio: OpenAI, Perplexity, Meta y Amazon hablan de unas 24 horas, DuckDuckGo de hasta 72 horas.
Revisa también tu cortafuegos o tu CDN. robots.txt es una petición, no una cerradura.
Recursos relacionados
Cómo funciona robots.txt, regla a regla
Mira qué bots de IA dejan entrar tu robots.txt y tu servidor
Guía de acceso de crawlers de IA
Configura robots.txt para bots de IA paso a paso
Crea un robots.txt con tu propia decisión para cada bot