Pesquisa própria
Quantos sites bloqueiam os robôs de IA?
Em 20 de outubro de 2026, 11,7% dos 10.000 sites mais populares tinham no robots.txt uma regra que mantém o GPTBot, o robô de treinamento da OpenAI, longe da página inicial. Menos sites faziam isso com o robô da busca do ChatGPT: 6,3% tinham uma regra contra o OAI-SearchBot. Outros 1,1% responderam com um erro em vez de um robots.txt. Isso parece mais um problema no servidor do que uma escolha, mas também mantém os robôs de fora.
Medido em 20 de outubro de 2026
- do top 10.000 têm uma regra no robots.txt contra o GPTBot
- 11,7%
- têm uma regra contra o OAI-SearchBot (busca do ChatGPT)
- 6,3%
- têm um arquivo de texto em /llms.txt
- 13,4%
O que testamos
Quase todo site tem um arquivo pequeno chamado robots.txt. Ele diz aos robôs quais páginas eles podem visitar. As empresas de IA dizem que seus robôs leem esse arquivo, então é a principal forma de um site dizer sim ou não a eles.
Buscamos esse arquivo em cada site da amostra e o lemos do jeito que o padrão oficial (RFC 9309) manda os robôs lerem. Para cada robô de IA fizemos uma única pergunta: ele pode abrir a página inicial?
Um arquivo pode dizer não de duas formas: com uma regra que cita o robô pelo nome ou com uma regra para todos os robôs (User-agent: *). E se o próprio arquivo der erro de servidor, o padrão diz que os robôs devem ficar totalmente de fora. Contamos os três casos e mostramos cada um separado.
Quais robôs de IA são bloqueados, e onde
Cada tabela mostra, por robô, a porcentagem de sites cujo robots.txt o mantém fora da página inicial. Sites populares bloqueiam robôs de IA umas três vezes mais do que os sites em holandês e alemão do diretório. Nos sites populares, os robôs de treinamento são bloqueados com mais frequência do que os que buscam páginas para a busca com IA.
| Robô | Top 10.000 | 10.001–100.000 | 100.001–1 milhão | Em holandês | Em alemão |
|---|---|---|---|---|---|
| GPTBot | 12,9%11,1%–14,9% | 10,8%9,2%–12,6% | 12,6%10,9%–14,6% | 3,6%2,8%–4,7% | 3,8%3%–5% |
| ClaudeBot | 12,6%10,9%–14,6% | 9,1%7,6%–10,8% | 12,2%10,6%–14,2% | 3,7%2,8%–4,8% | 3,1%2,3%–4,1% |
| CCBot | 14%12,2%–16,1% | 9,6%8,1%–11,4% | 9,6%8,1%–11,3% | 3,3%2,5%–4,3% | 3,3%2,5%–4,3% |
| Google-Extended | 11,1%9,4%–13% | 7,7%6,4%–9,3% | 11,1%9,5%–13% | 2,9%2,2%–3,9% | 3%2,2%–4% |
| Applebot-Extended | 11,2%9,6%–13,1% | 8,1%6,7%–9,7% | 11,2%9,6%–13,1% | 2,6%1,9%–3,6% | 2,9%2,2%–3,9% |
| meta-externalagent | 10,9%9,3%–12,8% | 8,4%7%–10,1% | 11,2%9,6%–13,1% | 3,1%2,3%–4,2% | 3,6%2,8%–4,7% |
| Bytespider | 13,7%11,9%–15,7% | 9,8%8,3%–11,5% | 9,1%7,6%–10,8% | 4,1%3,1%–5,2% | 3,6%2,8%–4,7% |
| Amazonbot | 10,8%9,1%–12,6% | 8,1%6,7%–9,7% | 12,1%10,4%–14% | 3,8%2,9%–4,9% | 3%2,2%–4% |
| Sites contados (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Robô | Top 10.000 | 10.001–100.000 | 100.001–1 milhão | Em holandês | Em alemão |
|---|---|---|---|---|---|
| OAI-SearchBot | 7,4%6,1%–9% | 4,7%3,7%–6% | 8,4%7%–10% | 2,6%1,9%–3,6% | 2,4%1,8%–3,4% |
| ChatGPT-User | 8,5%7%–10,2% | 6,6%5,4%–8,1% | 9,6%8,1%–11,4% | 3%2,2%–4% | 2,8%2,1%–3,8% |
| Claude-SearchBot | 6,8%5,5%–8,3% | 4,5%3,5%–5,8% | 8,3%6,9%–9,9% | 2,6%1,9%–3,5% | 2,4%1,8%–3,4% |
| Claude-User | 6,7%5,4%–8,2% | 4,6%3,6%–5,9% | 8,3%6,9%–9,9% | 2,4%1,7%–3,4% | 2,4%1,7%–3,3% |
| PerplexityBot | 9,9%8,3%–11,7% | 5,5%4,4%–6,9% | 9,3%7,8%–11% | 2,8%2%–3,8% | 2,7%1,9%–3,6% |
| Perplexity-User | 7,3%6%–8,9% | 4,3%3,3%–5,5% | 8,1%6,8%–9,8% | 2,6%1,9%–3,5% | 2,6%1,9%–3,5% |
| Sites contados (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Robô | Top 10.000 | 10.001–100.000 | 100.001–1 milhão | Em holandês | Em alemão |
|---|---|---|---|---|---|
| Googlebot | 3,6%2,7%–4,8% | 2,4%1,7%–3,4% | 3,6%2,7%–4,8% | 1,8%1,2%–2,6% | 2,2%1,5%–3,1% |
| bingbot | 3,9%3%–5,1% | 3,3%2,5%–4,4% | 4,5%3,5%–5,8% | 2,4%1,7%–3,3% | 2,4%1,8%–3,4% |
| Sites contados (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
Embaixo de cada porcentagem está a margem: com 95% de confiança, a porcentagem real fica entre esses dois números. As colunas 1-3 são sites populares pela posição na lista Tranco; as colunas 4-5, sites em holandês e em alemão do diretório Curlie.
Como os sites dizem não
Dos sites do top 10.000 que deixam o GPTBot de fora, 69% usam uma regra que cita o GPTBot pelo nome. Em 22,2%, só a regra para todos os robôs faz isso, talvez sem que o dono tenha pensado em IA. Em 8,9%, o robots.txt dá erro de servidor, o que conta como bloqueio total.
Isso faz diferença na contagem. Uma checagem que só procura o nome de um robô deixa o segundo grupo passar. Uma página antiga nossa dependia justamente de uma checagem assim, então a tiramos do ar e medimos de novo.
| Robô | Top 10.000 | 10.001–100.000 | 100.001–1 milhão | Em holandês | Em alemão |
|---|---|---|---|---|---|
| Uma regra que cita o GPTBot | 8,9%7,4%–10,6% | 7,6%6,2%–9,1% | 5,4%4,3%–6,8% | 1,4%0,9%–2,2% | 1,6%1,1%–2,4% |
| Só a regra para todos os robôs (*) | 2,9%2,1%–3,9% | 2,2%1,5%–3,2% | 5,7%4,5%–7,1% | 1,3%0,8%–2% | 1,3%0,9%–2,1% |
| O robots.txt dá erro de servidor | 1,1%0,7%–1,9% | 1%0,6%–1,7% | 1,6%1%–2,4% | 0,9%0,5%–1,6% | 0,9%0,5%–1,5% |
| Sites contados (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
Robôs de treinamento x robôs de busca
A OpenAI usa dois robôs. O GPTBot coleta conteúdo para treinamento, o OAI-SearchBot encontra páginas para a busca do ChatGPT. Dos sites do top 10.000 que bloqueiam o GPTBot, 42,4% ainda deixam o OAI-SearchBot entrar.
Essa porcentagem inclui sites cujo robots.txt deu erro, o que também deixa o OAI-SearchBot de fora. Dos sites com uma regra contra o GPTBot, 46,5% deixam o OAI-SearchBot entrar (exploratório).
Isso parece uma escolha deliberada. Segundo a OpenAI, sites que bloqueiam o OAI-SearchBot não aparecem nas respostas de busca do ChatGPT, enquanto bloquear só o GPTBot não tem esse efeito.
| Robô | Top 10.000 | 10.001–100.000 | 100.001–1 milhão | Em holandês | Em alemão |
|---|---|---|---|---|---|
| Bloqueiam pelo menos um robô de IA | 17,2%15,2%–19,4% | 13,3%11,5%–15,3% | 15,5%13,6%–17,6% | 5,2%4,2%–6,5% | 4,4%3,5%–5,6% |
| Bloqueiam todos os robôs de IA da nossa lista | 4,3%3,3%–5,6% | 3,1%2,3%–4,2% | 4%3,1%–5,3% | 2,3%1,6%–3,2% | 2,2%1,6%–3,1% |
| Sites contados (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Robô | Top 10.000 | 10.001–100.000 | 100.001–1 milhão | Em holandês | Em alemão |
|---|---|---|---|---|---|
| Ainda deixam o OAI-SearchBot entrar | 42,4%35%–50,2% | 56,2%47,8%–64,2% | 33,8%26,9%–41,4% | 29,4%18,7%–43% | 36,4%24,9%–49,6% |
| Sites que bloqueiam o GPTBot (n) | 158 | 137 | 160 | 51 | 55 |
llms.txt: quem tem um?
Um arquivo llms.txt é um resumo curto de um site para ferramentas de IA, escrito em Markdown. É uma proposta, não um padrão. O Google diz que a Pesquisa Google o ignora. Saiba mais no nosso guia sobre llms.txt ou confira o seu arquivo com o nosso verificador de llms.txt.
13,4% dos sites do top 10.000 têm um arquivo de texto em /llms.txt. Cuidado com as imitações: 13,2% respondem com uma página web comum. Dos arquivos de texto, 83,8% passam na checagem básica de llms.txt do Chrome Lighthouse.
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 milhão | Em holandês | Em alemão |
|---|---|---|---|---|---|
| Têm um arquivo de texto em /llms.txt | 13,4%11,6%–15,5% | 12,4%10,6%–14,4% | 13,5%11,7%–15,6% | 5,8%4,7%–7,2% | 7,4%6,1%–8,9% |
| Têm um arquivo de texto que passa na checagem do Lighthouse | 11,2%9,5%–13,2% | 10,6%9%–12,5% | 11,4%9,7%–13,4% | 5,4%4,4%–6,8% | 7%5,8%–8,5% |
| Devolvem uma página web (não um arquivo de verdade) | 13,2%11,3%–15,2% | 13,5%11,6%–15,5% | 13,9%12,1%–16,1% | 12,7%11,1%–14,6% | 9,6%8,2%–11,3% |
| Sites que responderam (n) | 1.148 | 1.196 | 1.147 | 1.360 | 1.375 |
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 milhão | Em holandês | Em alemão |
|---|---|---|---|---|---|
| Passam na checagem de llms.txt do Chrome Lighthouse | 83,8%77,1%–88,8% | 85,8%79,3%–90,5% | 84,5%78%–89,4% | 93,7%86%–97,3% | 94,1%87,8%–97,3% |
| Seguem o formato do llmstxt.org sem erros | 49,4%41,6%–57,2% | 48,6%40,7%–56,6% | 27,7%21,3%–35,3% | 54,4%43,5%–65% | 55,9%46,2%–65,1% |
| Sites com um arquivo de texto (n) | 154 | 148 | 155 | 79 | 102 |
A maioria dos arquivos que quebram o formato do llmstxt.org lista páginas sem link ou não começa com uma linha de título. Alguns "arquivos" são só uma mensagem de erro ou a palavra ok.
Outros estudos chegam a outros números porque contam de outro jeito. O Web Almanac 2025 encontrou um llms.txt válido em cerca de 2,1% de todos os sites que ele rastreia. A Ahrefs (dados de fornecedor) contou 28% de 137.210 domínios dos próprios clientes de analytics, um teto segundo a própria Ahrefs, e viu que 97% desses arquivos não receberam nenhum pedido em maio de 2026. A SE Ranking (dados de fornecedor) encontrou um llms.txt em 10% de cerca de 300.000 domínios.
O que isso não prova
- O robots.txt é um pedido, não uma tranca. Muitos sites também barram robôs com um firewall ou uma configuração do CDN. Nós só lemos o que está no arquivo.
- Nós não somos o GPTBot. Um site pode responder aos robôs de IA de um jeito diferente do que respondeu ao nosso, e alguns sites bloqueiam totalmente robôs desconhecidos.
- Só checamos o acesso à página inicial. Um site pode liberar a página inicial e bloquear todo o resto.
- Isso é um retrato de um único dia. Não mostra tendência. Os sites mudam os arquivos o tempo todo.
- Não diz nada sobre se bloquear (ou ter um llms.txt) muda a frequência com que as ferramentas de IA mostram ou citam um site.
Como fizemos
Sorteamos 1.500 sites de cada um de cinco grupos: três faixas da lista Tranco 467YX de sites populares (posições 1-10.000, 10.001-100.000 e 100.001-1.000.000), mais as seções em holandês e em alemão do diretório Curlie (47.502 e 309.045 sites cadastrados com a página inicial). Com uma semente aleatória fixa, quem tiver os mesmos dois arquivos sorteia exatamente os mesmos sites.
Um único computador na Holanda, com uma conexão de internet residencial comum, visitou todos os sites em cerca de 25 minutos. Ele se apresentou honestamente como GEOScoreBot/1.0 (+https://geo-score.online), fez pausas entre pedidos ao mesmo site e só buscou o que o robots.txt permitia.
Lemos cada robots.txt com o nosso analisador RFC 9309, o mesmo que roda no nosso verificador de robôs de IA. Um grupo com o nome do próprio robô vale mais do que a regra para todos os robôs. Sem robots.txt (uma resposta 4xx), qualquer robô pode entrar. Com erro de servidor (5xx), nenhum robô pode entrar. A RFC 9309 conta o 429 (pedidos demais) entre as respostas 4xx, então os robôs poderiam entrar, mas o Google e o Lighthouse o leem como um não, e nós também. Sites que não responderam nada (sem DNS ou sem conexão) ficam fora das porcentagens. Pela norma, os robôs também deveriam ficar de fora, mas esse erro não diz nada sobre o que o site quer.
Os números no topo desta página contam só regras do robots.txt: uma regra que cita o robô ou a regra para todos os robôs. Acrescentamos essa divisão depois de registrar o nosso método, então ela é exploratória. As tabelas mantêm a medida registrada, que também conta um erro como bloqueio.
Escrevemos as perguntas, a amostra e cada medida antes de começar, e salvamos esse plano. Tudo o que decidimos depois de ver os dados está marcado como exploratório.
| Etapa | Top 10.000 | 10.001–100.000 | 100.001–1 milhão | Em holandês | Em alemão |
|---|---|---|---|---|---|
| Sites sorteados | 1.500 | 1.500 | 1.500 | 1.500 | 1.500 |
| Nenhuma resposta (sem site, erro de DNS ou de conexão) | 273 | 230 | 234 | 97 | 70 |
| O robots.txt respondeu: entra nas porcentagens | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| … um arquivo robots.txt de verdade | 897 | 913 | 898 | 1.012 | 1.014 |
| … uma página web no lugar de um arquivo robots.txt | 91 | 84 | 87 | 115 | 80 |
| … sem robots.txt (4xx) | 225 | 260 | 261 | 263 | 323 |
| … erro de servidor (429 ou 5xx) | 14 | 13 | 20 | 13 | 13 |
| A página inicial abriu normalmente para o nosso robô | 922 | 1.017 | 983 | 1.311 | 1.350 |
| A página inicial recusou o nosso robô (401, 403 ou 429) | 175 | 147 | 113 | 35 | 16 |
| A página inicial deu outra resposta ou falhou | 68 | 59 | 73 | 25 | 29 |
| Página inicial não visitada: o robots.txt nos disse não | 62 | 47 | 97 | 32 | 35 |
Uma página inicial que recusa o nosso robô é proteção contra robôs, não uma regra do robots.txt. Nunca contamos isso como "bloqueia IA".
RFC 9309, o padrão do robots.txtOutros estudos sobre a mesma pergunta
O Web Almanac 2025 (HTTP Archive) encontrou o GPTBot citado no robots.txt de 4,5% dos sites no desktop, em milhões de sites. Na nossa amostra do top 10.000, 12,6% dos arquivos citam o GPTBot. Citar um robô não é o mesmo que bloqueá-lo: alguns arquivos citam um robô para liberar a entrada dele.
O Cloudflare Radar verifica toda semana o robots.txt dos 10.000 domínios mais populares e conta as regras que citam cada robô de IA (dados de fornecedor). Nós também contamos a regra para todos os robôs e os erros de servidor, e olhamos além do top 10.000.
Um estudo de 2024 de Longpre e outros, Consent in Crisis, acompanhou cerca de 14.000 domínios por trás de grandes conjuntos de dados de treinamento de IA. Ele mostrou que as restrições aos robôs de IA cresceram muito em 2023 e 2024.
Confira o seu próprio site
Isso são médias. O seu site está dentro ou fora. Nossas ferramentas gratuitas verificam isso em segundos.
Baixe os dados
Cada número desta página está no arquivo CSV, uma linha por número, com a contagem, a base e a margem de 95%. Ele tem só totais, nenhum nome de site.
Baixar os números (CSV)Você pode reutilizar os números sob a licença CC BY 4.0. Cite o GEO-Score e coloque um link para esta página.
Fontes das listas de sites
Sites populares: a lista Tranco 467YX (Le Pochat et al., NDSS 2019).
Sites em holandês e em alemão: com conteúdo de Curlie.org - o maior diretório da web editado por pessoas. Contribua enviando um site ou tornando-se editor. Os dados do Curlie estão sob a licença CC BY 3.0.
20 de outubro de 2026: primeira medição publicada.