Investigación propia
¿Cuántos sitios web bloquean a los rastreadores de IA?
El 20 de octubre de 2026, el 11,7 % de los 10.000 sitios más populares tenía en su robots.txt una regla que mantiene a GPTBot, el bot de entrenamiento de OpenAI, fuera de su página de inicio. Menos sitios lo hacían con el bot de la búsqueda de ChatGPT: el 6,3 % tenía una regla contra OAI-SearchBot. Otro 1,1 % respondió con un error en lugar de un robots.txt. Probablemente es un fallo del servidor más que una decisión, pero también deja fuera a los bots.
Medido el 20 de octubre de 2026
- del top 10.000 tiene una regla de robots.txt contra GPTBot
- 11,7 %
- tiene una regla contra OAI-SearchBot (búsqueda de ChatGPT)
- 6,3 %
- tiene un archivo de texto en /llms.txt
- 13,4 %
Qué probamos
Casi todos los sitios web tienen un archivo pequeño llamado robots.txt. Dice a los bots qué páginas pueden visitar. Las empresas de IA dicen que sus bots lo leen, así que es la forma principal de que un sitio les diga sí o no.
Descargamos ese archivo de cada sitio de la muestra y lo leímos tal como la norma oficial (RFC 9309) exige a los bots. Para cada bot de IA hicimos una sola pregunta: ¿puede abrir la página de inicio?
Un archivo puede decir que no de dos maneras: con una regla que nombra al bot o con una regla para todos los bots (User-agent: *). Y si el propio archivo da un error de servidor, la norma dice que los bots deben quedarse fuera del todo. Contamos los tres casos y los mostramos por separado.
Qué bots de IA se bloquean, y dónde
Cada tabla muestra, por bot, el porcentaje de sitios cuyo robots.txt lo deja fuera de la página de inicio. Los sitios populares bloquean a los bots de IA unas tres veces más que los sitios en neerlandés y alemán del directorio. En los sitios populares, los bots de entrenamiento se bloquean más que los que buscan páginas para la búsqueda con IA.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 millón | En neerlandés | En alemán |
|---|---|---|---|---|---|
| GPTBot | 12,9 %11,1 %–14,9 % | 10,8 %9,2 %–12,6 % | 12,6 %10,9 %–14,6 % | 3,6 %2,8 %–4,7 % | 3,8 %3 %–5 % |
| ClaudeBot | 12,6 %10,9 %–14,6 % | 9,1 %7,6 %–10,8 % | 12,2 %10,6 %–14,2 % | 3,7 %2,8 %–4,8 % | 3,1 %2,3 %–4,1 % |
| CCBot | 14 %12,2 %–16,1 % | 9,6 %8,1 %–11,4 % | 9,6 %8,1 %–11,3 % | 3,3 %2,5 %–4,3 % | 3,3 %2,5 %–4,3 % |
| Google-Extended | 11,1 %9,4 %–13 % | 7,7 %6,4 %–9,3 % | 11,1 %9,5 %–13 % | 2,9 %2,2 %–3,9 % | 3 %2,2 %–4 % |
| Applebot-Extended | 11,2 %9,6 %–13,1 % | 8,1 %6,7 %–9,7 % | 11,2 %9,6 %–13,1 % | 2,6 %1,9 %–3,6 % | 2,9 %2,2 %–3,9 % |
| meta-externalagent | 10,9 %9,3 %–12,8 % | 8,4 %7 %–10,1 % | 11,2 %9,6 %–13,1 % | 3,1 %2,3 %–4,2 % | 3,6 %2,8 %–4,7 % |
| Bytespider | 13,7 %11,9 %–15,7 % | 9,8 %8,3 %–11,5 % | 9,1 %7,6 %–10,8 % | 4,1 %3,1 %–5,2 % | 3,6 %2,8 %–4,7 % |
| Amazonbot | 10,8 %9,1 %–12,6 % | 8,1 %6,7 %–9,7 % | 12,1 %10,4 %–14 % | 3,8 %2,9 %–4,9 % | 3 %2,2 %–4 % |
| Sitios contados (n) | 1227 | 1270 | 1266 | 1403 | 1430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 millón | En neerlandés | En alemán |
|---|---|---|---|---|---|
| OAI-SearchBot | 7,4 %6,1 %–9 % | 4,7 %3,7 %–6 % | 8,4 %7 %–10 % | 2,6 %1,9 %–3,6 % | 2,4 %1,8 %–3,4 % |
| ChatGPT-User | 8,5 %7 %–10,2 % | 6,6 %5,4 %–8,1 % | 9,6 %8,1 %–11,4 % | 3 %2,2 %–4 % | 2,8 %2,1 %–3,8 % |
| Claude-SearchBot | 6,8 %5,5 %–8,3 % | 4,5 %3,5 %–5,8 % | 8,3 %6,9 %–9,9 % | 2,6 %1,9 %–3,5 % | 2,4 %1,8 %–3,4 % |
| Claude-User | 6,7 %5,4 %–8,2 % | 4,6 %3,6 %–5,9 % | 8,3 %6,9 %–9,9 % | 2,4 %1,7 %–3,4 % | 2,4 %1,7 %–3,3 % |
| PerplexityBot | 9,9 %8,3 %–11,7 % | 5,5 %4,4 %–6,9 % | 9,3 %7,8 %–11 % | 2,8 %2 %–3,8 % | 2,7 %1,9 %–3,6 % |
| Perplexity-User | 7,3 %6 %–8,9 % | 4,3 %3,3 %–5,5 % | 8,1 %6,8 %–9,8 % | 2,6 %1,9 %–3,5 % | 2,6 %1,9 %–3,5 % |
| Sitios contados (n) | 1227 | 1270 | 1266 | 1403 | 1430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 millón | En neerlandés | En alemán |
|---|---|---|---|---|---|
| Googlebot | 3,6 %2,7 %–4,8 % | 2,4 %1,7 %–3,4 % | 3,6 %2,7 %–4,8 % | 1,8 %1,2 %–2,6 % | 2,2 %1,5 %–3,1 % |
| bingbot | 3,9 %3 %–5,1 % | 3,3 %2,5 %–4,4 % | 4,5 %3,5 %–5,8 % | 2,4 %1,7 %–3,3 % | 2,4 %1,8 %–3,4 % |
| Sitios contados (n) | 1227 | 1270 | 1266 | 1403 | 1430 |
Debajo de cada porcentaje ves su margen: con un 95 % de confianza, el porcentaje real está entre esos dos números. Las columnas 1-3 son sitios populares según su puesto en la lista Tranco; las columnas 4-5, sitios en neerlandés y en alemán del directorio Curlie.
Cómo dicen que no los sitios
De los sitios del top 10.000 que dejan fuera a GPTBot, el 69 % usa una regla que nombra a GPTBot. En el 22,2 %, solo lo hace la regla para todos los bots, quizá sin que el dueño pensara nunca en la IA. En el 8,9 %, el robots.txt da un error de servidor, lo que cuenta como bloqueo total.
Esto importa al contar. Una comprobación que solo busca el nombre de un bot se salta el segundo grupo. Una página antigua nuestra se basaba justo en una comprobación así, así que la retiramos y volvimos a medir.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 millón | En neerlandés | En alemán |
|---|---|---|---|---|---|
| Una regla que nombra a GPTBot | 8,9 %7,4 %–10,6 % | 7,6 %6,2 %–9,1 % | 5,4 %4,3 %–6,8 % | 1,4 %0,9 %–2,2 % | 1,6 %1,1 %–2,4 % |
| Solo la regla para todos los bots (*) | 2,9 %2,1 %–3,9 % | 2,2 %1,5 %–3,2 % | 5,7 %4,5 %–7,1 % | 1,3 %0,8 %–2 % | 1,3 %0,9 %–2,1 % |
| El robots.txt da un error de servidor | 1,1 %0,7 %–1,9 % | 1 %0,6 %–1,7 % | 1,6 %1 %–2,4 % | 0,9 %0,5 %–1,6 % | 0,9 %0,5 %–1,5 % |
| Sitios contados (n) | 1227 | 1270 | 1266 | 1403 | 1430 |
Bots de entrenamiento frente a bots de búsqueda
OpenAI usa dos bots. GPTBot recoge contenido para entrenar, OAI-SearchBot busca páginas para la búsqueda de ChatGPT. De los sitios del top 10.000 que bloquean a GPTBot, el 42,4 % sigue dejando entrar a OAI-SearchBot.
Ese porcentaje incluye los sitios cuyo robots.txt dio un error, lo que también deja fuera a OAI-SearchBot. De los sitios con una regla contra GPTBot, el 46,5 % deja entrar a OAI-SearchBot (exploratorio).
Parece una decisión deliberada. Según OpenAI, los sitios que bloquean a OAI-SearchBot no aparecen en las respuestas de búsqueda de ChatGPT, mientras que bloquear solo a GPTBot no tiene ese efecto.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 millón | En neerlandés | En alemán |
|---|---|---|---|---|---|
| Bloquean al menos un bot de IA | 17,2 %15,2 %–19,4 % | 13,3 %11,5 %–15,3 % | 15,5 %13,6 %–17,6 % | 5,2 %4,2 %–6,5 % | 4,4 %3,5 %–5,6 % |
| Bloquean todos los bots de IA de nuestra lista | 4,3 %3,3 %–5,6 % | 3,1 %2,3 %–4,2 % | 4 %3,1 %–5,3 % | 2,3 %1,6 %–3,2 % | 2,2 %1,6 %–3,1 % |
| Sitios contados (n) | 1227 | 1270 | 1266 | 1403 | 1430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 millón | En neerlandés | En alemán |
|---|---|---|---|---|---|
| Siguen dejando entrar a OAI-SearchBot | 42,4 %35 %–50,2 % | 56,2 %47,8 %–64,2 % | 33,8 %26,9 %–41,4 % | 29,4 %18,7 %–43 % | 36,4 %24,9 %–49,6 % |
| Sitios que bloquean a GPTBot (n) | 158 | 137 | 160 | 51 | 55 |
llms.txt: ¿quién tiene uno?
Un archivo llms.txt es un resumen breve de un sitio web para herramientas de IA, escrito en Markdown. Es una propuesta, no una norma. Google dice que la Búsqueda de Google lo ignora. Lee más en nuestra guía de llms.txt o revisa tu propio archivo con nuestro comprobador de llms.txt.
El 13,4 % de los sitios del top 10.000 tiene un archivo de texto en /llms.txt. Ojo con las imitaciones: el 13,2 % responde con una página web normal. De los archivos de texto, el 83,8 % pasa la comprobación básica de llms.txt de Chrome Lighthouse.
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 millón | En neerlandés | En alemán |
|---|---|---|---|---|---|
| Tienen un archivo de texto en /llms.txt | 13,4 %11,6 %–15,5 % | 12,4 %10,6 %–14,4 % | 13,5 %11,7 %–15,6 % | 5,8 %4,7 %–7,2 % | 7,4 %6,1 %–8,9 % |
| Tienen un archivo de texto que pasa la comprobación de Lighthouse | 11,2 %9,5 %–13,2 % | 10,6 %9 %–12,5 % | 11,4 %9,7 %–13,4 % | 5,4 %4,4 %–6,8 % | 7 %5,8 %–8,5 % |
| Devuelven una página web (no un archivo real) | 13,2 %11,3 %–15,2 % | 13,5 %11,6 %–15,5 % | 13,9 %12,1 %–16,1 % | 12,7 %11,1 %–14,6 % | 9,6 %8,2 %–11,3 % |
| Sitios que respondieron (n) | 1148 | 1196 | 1147 | 1360 | 1375 |
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 millón | En neerlandés | En alemán |
|---|---|---|---|---|---|
| Pasan la comprobación de llms.txt de Chrome Lighthouse | 83,8 %77,1 %–88,8 % | 85,8 %79,3 %–90,5 % | 84,5 %78 %–89,4 % | 93,7 %86 %–97,3 % | 94,1 %87,8 %–97,3 % |
| Siguen el formato de llmstxt.org sin errores | 49,4 %41,6 %–57,2 % | 48,6 %40,7 %–56,6 % | 27,7 %21,3 %–35,3 % | 54,4 %43,5 %–65 % | 55,9 %46,2 %–65,1 % |
| Sitios con un archivo de texto (n) | 154 | 148 | 155 | 79 | 102 |
La mayoría de los archivos que rompen el formato de llmstxt.org enumeran páginas sin enlace o no empiezan con una línea de título. Algunos «archivos» son solo un mensaje de error o la palabra ok.
Otros estudios dan otras cifras porque cuentan de otra forma. El Web Almanac 2025 encontró un llms.txt válido en alrededor del 2,1 % de todos los sitios que rastrea. Ahrefs (datos de un proveedor) contó un 28 % de 137.210 dominios de sus propios clientes de analítica, un límite superior según la propia Ahrefs, y vio que el 97 % de esos archivos no recibió ninguna petición en mayo de 2026. SE Ranking (datos de un proveedor) encontró un llms.txt en el 10 % de unos 300.000 dominios.
Lo que esto no demuestra
- El robots.txt es una petición, no un candado. Muchos sitios también frenan a los bots con un cortafuegos o un ajuste de su CDN. Nosotros solo leemos lo que dice el archivo.
- No somos GPTBot. Un sitio puede responder a los bots de IA de otra forma que a nuestro bot, y algunos sitios bloquean del todo a los bots desconocidos.
- Solo comprobamos el acceso a la página de inicio. Un sitio puede permitir la página de inicio y bloquear todo lo demás.
- Es una foto de un solo día. No muestra ninguna tendencia. Los sitios cambian sus archivos todo el tiempo.
- No dice nada sobre si bloquear (o tener un llms.txt) cambia la frecuencia con la que las herramientas de IA muestran o citan un sitio.
Cómo lo hicimos
Sacamos al azar 1500 sitios de cada uno de cinco grupos: tres tramos de la lista Tranco 467YX de sitios populares (puestos 1-10.000, 10.001-100.000 y 100.001-1.000.000), más las secciones en neerlandés y en alemán del directorio Curlie (47.502 y 309.045 sitios inscritos con su página de inicio). Con una semilla aleatoria fija, cualquiera con los mismos dos archivos saca exactamente los mismos sitios.
Un solo ordenador en los Países Bajos, con una conexión doméstica normal, visitó todos los sitios en unos 25 minutos. Se presentó honestamente como GEOScoreBot/1.0 (+https://geo-score.online), hizo pausas entre peticiones al mismo sitio y solo descargó lo que robots.txt le permitía.
Leímos cada robots.txt con nuestro analizador RFC 9309, el mismo que usa nuestro comprobador de rastreadores de IA. Un grupo con el nombre propio de un bot tiene prioridad sobre la regla para todos los bots. Sin robots.txt (una respuesta 4xx), cualquier bot puede entrar. Con un error de servidor (5xx), ningún bot puede entrar. La RFC 9309 cuenta el 429 (demasiadas solicitudes) entre las respuestas 4xx, así que los bots podrían entrar, pero Google y Lighthouse lo leen como un no, y nosotros también. Los sitios que no respondieron en absoluto (sin DNS o sin conexión) quedan fuera de los porcentajes. Según el estándar, los bots también deberían quedarse fuera, pero ese error no dice nada sobre lo que quiere el sitio.
Las cifras de arriba de esta página solo cuentan reglas de robots.txt: una regla que nombra al bot o la regla para todos los bots. Añadimos esa división después de registrar nuestro método, así que es exploratoria. Las tablas mantienen la medida registrada, que también cuenta un error como bloqueo.
Escribimos las preguntas, la muestra y cada medida antes de empezar, y guardamos ese plan. Todo lo que decidimos después de ver los datos está marcado como exploratorio.
| Paso | Top 10.000 | 10.001–100.000 | 100.001–1 millón | En neerlandés | En alemán |
|---|---|---|---|---|---|
| Sitios sorteados | 1500 | 1500 | 1500 | 1500 | 1500 |
| Ninguna respuesta (sin web, error de DNS o de conexión) | 273 | 230 | 234 | 97 | 70 |
| El robots.txt respondió: cuenta en los porcentajes | 1227 | 1270 | 1266 | 1403 | 1430 |
| … un archivo robots.txt real | 897 | 913 | 898 | 1012 | 1014 |
| … una página web en lugar de un archivo robots.txt | 91 | 84 | 87 | 115 | 80 |
| … sin robots.txt (4xx) | 225 | 260 | 261 | 263 | 323 |
| … error de servidor (429 o 5xx) | 14 | 13 | 20 | 13 | 13 |
| La página de inicio se abrió con normalidad para nuestro bot | 922 | 1017 | 983 | 1311 | 1350 |
| La página de inicio rechazó a nuestro bot (401, 403 o 429) | 175 | 147 | 113 | 35 | 16 |
| La página de inicio dio otra respuesta o falló | 68 | 59 | 73 | 25 | 29 |
| Página de inicio no visitada: el robots.txt nos dijo que no | 62 | 47 | 97 | 32 | 35 |
Una página de inicio que rechaza a nuestro bot es protección contra bots, no una regla de robots.txt. Nunca la contamos como «bloquea la IA».
RFC 9309, la norma de robots.txtOtros estudios sobre la misma pregunta
El Web Almanac 2025 (HTTP Archive) encontró GPTBot nombrado en el robots.txt del 4,5 % de los sitios de escritorio, entre millones de sitios. En nuestra muestra del top 10.000, el 12,6 % de los archivos nombra a GPTBot. Nombrar a un bot no es lo mismo que bloquearlo: algunos archivos lo nombran para permitirle la entrada.
Cloudflare Radar revisa cada semana el robots.txt de los 10.000 dominios más populares y cuenta las reglas que nombran a cada bot de IA (datos de un proveedor). Nosotros también contamos la regla para todos los bots y los errores de servidor, y miramos más allá del top 10.000.
Un estudio de 2024 de Longpre y otros, Consent in Crisis, siguió unos 14.000 dominios detrás de grandes conjuntos de datos de entrenamiento de IA. Mostró que las restricciones a los rastreadores de IA crecieron mucho en 2023 y 2024.
Revisa tu propio sitio
Esto son promedios. Tu sitio está dentro o fuera. Nuestras herramientas gratuitas lo comprueban en segundos.
Descarga los datos
Cada número de esta página está en el archivo CSV, una fila por número, con su recuento, su base y su margen del 95 %. Solo contiene totales, ningún nombre de sitio.
Descargar las cifras (CSV)Puedes reutilizar las cifras con la licencia CC BY 4.0. Menciona a GEO-Score y enlaza a esta página.
Fuentes de las listas de sitios
Sitios populares: la lista Tranco 467YX (Le Pochat et al., NDSS 2019).
Sitios en neerlandés y en alemán: con contenido de Curlie.org, el mayor directorio de la web editado por personas. Colabora proponiendo un sitio web o haciéndote editor. Los datos de Curlie tienen la licencia CC BY 3.0.
20 de octubre de 2026: primera medición publicada.