Volver al Hub de Aprendizaje

robots.txt para Bots IA

Controla qué motores IA pueden acceder a tu contenido

¿Qué es robots.txt?

El archivo robots.txt es un archivo de texto simple que indica a bots y rastreadores qué partes de tu sitio web pueden visitar. Piensa en él como un letrero en la entrada de tu sitio web que dice "visitantes bienvenidos" o "área privada". Cada bot que sigue las reglas (llamadas Protocolo de Exclusión de Robots) revisa este archivo primero antes de rastrear tu sitio.

Para motores de búsqueda IA, robots.txt es especialmente importante. Controla si bots IA como GPTBot (ChatGPT), ClaudeBot (Claude) y PerplexityBot pueden acceder a tu contenido para entrenamiento y resultados de búsqueda. Configurar esto correctamente te ayuda a gestionar tu acceso de bots IA efectivamente.

Tu archivo robots.txt debe estar ubicado en tusitio.com/robots.txt. Los bots no lo buscarán en ningún otro lugar. Si no tienes este archivo, los bots asumen que pueden rastrear todo.

Por Qué robots.txt Importa para IA

Los bots IA son diferentes de los rastreadores tradicionales de motores de búsqueda. Visitan tu sitio por dos razones principales:

Recolección de Datos de Entrenamiento

Algunas empresas de IA usan contenido web para entrenar sus modelos de lenguaje. Rastrean millones de páginas para construir bases de conocimiento.

Puedes controlar si tu contenido se usa para entrenamiento bloqueando bots específicos en robots.txt.

Generación de Resultados de Búsqueda

Los motores de búsqueda IA rastrean tu contenido para incluirlo en sus resultados de búsqueda y generación de respuestas.

Permitir estos bots ayuda a que tu contenido aparezca en respuestas generadas por IA, mejorando tu GEO-Score.

La clave es encontrar el equilibrio correcto. Quieres que los motores de búsqueda IA accedan a tu contenido para visibilidad, pero podrías querer bloquear ciertas áreas o bots de entrenamiento específicos. Tu archivo robots.txt te da este control.

User-Agents Principales de Bots IA

Cada bot IA se identifica con una cadena de user-agent única. Aquí están los más importantes:

GPTBot

OpenAI

User-agent: GPTBot

Usado por: ChatGPT, funciones de búsqueda de OpenAI

GPTBot rastrea contenido tanto para respuestas de ChatGPT como para entrenamiento. Bloquearlo impide que tu contenido aparezca en resultados de búsqueda web de ChatGPT.

ClaudeBot

Anthropic

User-agent: ClaudeBot

Usado por: Claude AI, asistente IA de Anthropic

ClaudeBot accede a contenido web para proporcionar información actual en respuestas de Claude. Respeta las reglas de robots.txt estrictamente.

PerplexityBot

Perplexity

User-agent: PerplexityBot

Usado por: Motor de búsqueda Perplexity AI

PerplexityBot impulsa uno de los motores de búsqueda IA más populares. Permitirlo mejora la visibilidad en resultados de búsqueda de Perplexity.

Google-Extended

Google

User-agent: Google-Extended

Usado por: Entrenamiento de Google Gemini AI

Esto es separado de Googlebot. Google-Extended recolecta datos para entrenar Gemini. Bloquearlo no afecta la indexación normal de Google Search.

FacebookBot

Meta

User-agent: FacebookBot

Usado por: Meta AI, vistas previas de enlaces de Facebook

FacebookBot rastrea para vistas previas de enlaces y funciones IA de Meta. Es importante para visibilidad en redes sociales.

Para una lista completa de user-agents de bots IA con detalles técnicos, ve nuestra Referencia de User-Agents de Bots IA.

Sintaxis Básica de robots.txt

El archivo robots.txt usa una sintaxis simple con solo unos pocos comandos:

User-agent

Especifica a qué bot aplican las siguientes reglas. Usa * para todos los bots.

User-agent: GPTBot
User-agent: *

Disallow

Indica a los bots que NO accedan a rutas específicas. Usa / para bloquear todo.

Disallow: /admin/
Disallow: /private/
Disallow: /

Allow

Indica a los bots que PUEDEN acceder a rutas específicas. Usa esto para anular una regla Disallow más amplia.

Disallow: /admin/
Allow: /admin/public/

Crawl-delay

Establece un retraso en segundos entre solicitudes de bot. No soportado por todos los bots.

Crawl-delay: 10

Sitemap

Apunta a los bots a tu sitemap XML para mejor eficiencia de rastreo.

Sitemap: https://yoursite.com/sitemap.xml

Configuraciones Comunes de robots.txt

Aquí hay configuraciones listas para usar para escenarios comunes:

Permitir Todos los Bots IA (Recomendado para la Mayoría de Sitios)

Esta configuración da la bienvenida a todos los motores de búsqueda IA mientras protege áreas de administración:

# Allow all AI bots to crawl
User-agent: *
Allow: /

# Block private areas for all bots
Disallow: /admin/
Disallow: /api/
Disallow: /login/
Disallow: /dashboard/

# Sitemap location
Sitemap: https://yoursite.com/sitemap.xml

Bloquear Entrenamiento IA, Permitir Búsqueda IA

Bloquea bots usados para entrenar modelos IA mientras permites bots de búsqueda:

# Block training bots
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Allow search bots
User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

# Default rules for other bots
User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://yoursite.com/sitemap.xml

Acceso Selectivo a Contenido

Permite bots IA acceder a contenido de blog pero no a páginas de productos:

# AI bots can access blog
User-agent: GPTBot
Allow: /blog/
Disallow: /

User-agent: ClaudeBot
Allow: /blog/
Disallow: /

# Default rules
User-agent: *
Allow: /

Sitemap: https://yoursite.com/sitemap.xml

Bloquear Todos los Bots IA

Si quieres excluirte completamente de búsqueda IA (no recomendado para visibilidad):

# Block all known AI bots
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: CCBot
Disallow: /

# Allow traditional search engines
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://yoursite.com/sitemap.xml

Mejores Prácticas

Haz Esto

✓Coloca robots.txt en tu directorio raíz

✓Usa una regla por línea

✓Incluye la ubicación de tu sitemap

✓Prueba tu robots.txt después de cambios

✓Permite bots IA para mejor visibilidad GEO

✓Mantén el archivo bajo 500KB

Evita Esto

✗Usar robots.txt para seguridad

✗Bloquear todos los bots sin razón

✗Usar expresiones regulares (no soportadas)

✗Olvidar actualizar después de cambios en el sitio

✗Bloquear CSS/JS necesario para renderizar la página

✗Crear múltiples archivos robots.txt

Probando Tu robots.txt

Siempre prueba tu archivo robots.txt antes de implementarlo. Usa estos métodos:

Pruebas Manuales

Visita tusitio.com/robots.txt en tu navegador para verificar:

  • El archivo es accesible y carga correctamente
  • No hay errores de sintaxis o errores tipográficos
  • Todos los nombres de user-agent están escritos correctamente
  • Las rutas coinciden con tu estructura de sitio real

Google Search Console

Usa la herramienta de prueba de robots.txt de Google:

  • Ve a Google Search Console
  • Navega a Rastreo → Probador de robots.txt
  • Prueba URLs específicas contra tus reglas
  • Revisa errores y advertencias

Validadores en Línea

Usa validadores de robots.txt de terceros:

  • Verificador de Robots.txt: Revisa sintaxis y cobertura
  • Analizador GEO de Bloffee: Valida robots.txt como parte del análisis completo del sitio
  • Herramientas SEO: Muchas plataformas SEO incluyen pruebas de robots.txt

Monitoreo de Logs del Servidor

Revisa tus logs del servidor para verificar el comportamiento de bots:

  • Busca cadenas de user-agent de bots IA en logs de acceso
  • Verifica que los bots respeten tus reglas
  • Identifica cualquier rastreo no autorizado
  • Monitorea frecuencia y patrones de rastreo

Configuraciones Avanzadas

Limitación de Tasa con Crawl-delay

Controla qué tan rápido los bots rastrean tu sitio para reducir carga del servidor:

User-agent: GPTBot
Crawl-delay: 10
Allow: /

User-agent: ClaudeBot
Crawl-delay: 5
Allow: /

Nota: No todos los bots soportan crawl-delay. Es más confiable usar limitación de tasa del lado del servidor.

Patrones Comodín

Usa comodines para coincidir múltiples rutas (soportado por la mayoría de bots modernos):

User-agent: *
# Block all PDF files
Disallow: /*.pdf$

# Block all URLs with query parameters
Disallow: /*?

# Block all admin pages
Disallow: /*/admin/

Múltiples Sitemaps

Lista múltiples sitemaps para diferentes tipos de contenido:

Sitemap: https://yoursite.com/sitemap-pages.xml
Sitemap: https://yoursite.com/sitemap-blog.xml
Sitemap: https://yoursite.com/sitemap-products.xml
Sitemap: https://yoursite.com/sitemap-images.xml

Consejos Rápidos de robots.txt

  • •Comienza permitiendo todos los bots de búsqueda IA para máxima visibilidad
  • •Solo bloquea bots específicos si tienes una razón fuerte
  • •Siempre incluye la ubicación de tu sitemap
  • •Prueba cambios antes de implementar en producción
  • •Monitorea acceso de bots en tus logs del servidor
  • •Actualiza robots.txt cuando cambies la estructura del sitio
  • •Recuerda: robots.txt no es una medida de seguridad

Impacto en Tu GEO-Score

Tu configuración de robots.txt afecta directamente tu puntuación de Acceso de Bots IA, que es un componente clave de tu GEO-Score general.

Bloffee revisa tu robots.txt para:

  • Si los bots IA pueden acceder a tu contenido
  • Sintaxis y formato apropiados
  • Bloqueo accidental de páginas importantes
  • Declaración de sitemap
  • Reglas excesivamente restrictivas que perjudican la visibilidad

Un robots.txt bien configurado que da la bienvenida a bots IA puede mejorar tu GEO-Score en 10-15 puntos. Bloquear bots importantes puede reducir tu puntuación en 20-30 puntos o más.

¿Listo para Generar Tu robots.txt?

Usa nuestro generador gratuito de robots.txt para crear una configuración optimizada para IA en segundos. Configura más de 40 bots con un clic.

Generar robots.txt

Temas Relacionados

robots.txt para Bots IA: Guía Completa de Configuración