Notre propre recherche
Combien de sites bloquent les robots d’IA ?
Le 20 octobre 2026, 11,7 % des 10 000 sites les plus populaires avaient dans leur robots.txt une règle qui tient GPTBot, le robot d’entraînement d’OpenAI, à l’écart de leur page d’accueil. Ils étaient moins nombreux à le faire pour le robot de la recherche ChatGPT : 6,3 % avaient une règle contre OAI-SearchBot. Encore 1,1 % ont renvoyé une erreur au lieu d’un fichier robots.txt. C’est plus probablement un problème de serveur qu’un choix, mais cela tient aussi les robots dehors.
Mesuré le 20 octobre 2026
- du top 10 000 ont une règle robots.txt contre GPTBot
- 11,7 %
- ont une règle contre OAI-SearchBot (recherche ChatGPT)
- 6,3 %
- proposent un fichier texte sur /llms.txt
- 13,4 %
Ce que nous avons testé
Presque chaque site a un petit fichier appelé robots.txt. Il indique aux robots les pages qu’ils peuvent visiter. Les entreprises d’IA disent que leurs robots le lisent : c’est donc le moyen principal pour un site de leur dire oui ou non.
Nous avons récupéré ce fichier sur chaque site de notre échantillon et l’avons lu comme la norme officielle (RFC 9309) l’impose aux robots. Pour chaque robot d’IA, une seule question : peut-il ouvrir la page d’accueil ?
Un fichier peut dire non de deux façons : avec une règle qui nomme le robot, ou avec une règle pour tous les robots (User-agent: *). Et si le fichier lui-même renvoie une erreur serveur, la norme dit que les robots doivent rester complètement à l’écart. Nous comptons les trois cas, séparément.
Quels robots d’IA sont bloqués, et où
Chaque tableau montre, par robot, la part des sites dont le robots.txt le tient à l’écart de la page d’accueil. Les sites populaires bloquent les robots d’IA environ trois fois plus souvent que les sites néerlandophones et germanophones de l’annuaire. Sur les sites populaires, les robots d’entraînement sont plus souvent bloqués que ceux qui récupèrent des pages pour la recherche IA.
| Robot | Top 10 000 | 10 001–100 000 | 100 001–1 million | En néerlandais | En allemand |
|---|---|---|---|---|---|
| GPTBot | 12,9 %11,1 %–14,9 % | 10,8 %9,2 %–12,6 % | 12,6 %10,9 %–14,6 % | 3,6 %2,8 %–4,7 % | 3,8 %3 %–5 % |
| ClaudeBot | 12,6 %10,9 %–14,6 % | 9,1 %7,6 %–10,8 % | 12,2 %10,6 %–14,2 % | 3,7 %2,8 %–4,8 % | 3,1 %2,3 %–4,1 % |
| CCBot | 14 %12,2 %–16,1 % | 9,6 %8,1 %–11,4 % | 9,6 %8,1 %–11,3 % | 3,3 %2,5 %–4,3 % | 3,3 %2,5 %–4,3 % |
| Google-Extended | 11,1 %9,4 %–13 % | 7,7 %6,4 %–9,3 % | 11,1 %9,5 %–13 % | 2,9 %2,2 %–3,9 % | 3 %2,2 %–4 % |
| Applebot-Extended | 11,2 %9,6 %–13,1 % | 8,1 %6,7 %–9,7 % | 11,2 %9,6 %–13,1 % | 2,6 %1,9 %–3,6 % | 2,9 %2,2 %–3,9 % |
| meta-externalagent | 10,9 %9,3 %–12,8 % | 8,4 %7 %–10,1 % | 11,2 %9,6 %–13,1 % | 3,1 %2,3 %–4,2 % | 3,6 %2,8 %–4,7 % |
| Bytespider | 13,7 %11,9 %–15,7 % | 9,8 %8,3 %–11,5 % | 9,1 %7,6 %–10,8 % | 4,1 %3,1 %–5,2 % | 3,6 %2,8 %–4,7 % |
| Amazonbot | 10,8 %9,1 %–12,6 % | 8,1 %6,7 %–9,7 % | 12,1 %10,4 %–14 % | 3,8 %2,9 %–4,9 % | 3 %2,2 %–4 % |
| Sites comptés (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Robot | Top 10 000 | 10 001–100 000 | 100 001–1 million | En néerlandais | En allemand |
|---|---|---|---|---|---|
| OAI-SearchBot | 7,4 %6,1 %–9 % | 4,7 %3,7 %–6 % | 8,4 %7 %–10 % | 2,6 %1,9 %–3,6 % | 2,4 %1,8 %–3,4 % |
| ChatGPT-User | 8,5 %7 %–10,2 % | 6,6 %5,4 %–8,1 % | 9,6 %8,1 %–11,4 % | 3 %2,2 %–4 % | 2,8 %2,1 %–3,8 % |
| Claude-SearchBot | 6,8 %5,5 %–8,3 % | 4,5 %3,5 %–5,8 % | 8,3 %6,9 %–9,9 % | 2,6 %1,9 %–3,5 % | 2,4 %1,8 %–3,4 % |
| Claude-User | 6,7 %5,4 %–8,2 % | 4,6 %3,6 %–5,9 % | 8,3 %6,9 %–9,9 % | 2,4 %1,7 %–3,4 % | 2,4 %1,7 %–3,3 % |
| PerplexityBot | 9,9 %8,3 %–11,7 % | 5,5 %4,4 %–6,9 % | 9,3 %7,8 %–11 % | 2,8 %2 %–3,8 % | 2,7 %1,9 %–3,6 % |
| Perplexity-User | 7,3 %6 %–8,9 % | 4,3 %3,3 %–5,5 % | 8,1 %6,8 %–9,8 % | 2,6 %1,9 %–3,5 % | 2,6 %1,9 %–3,5 % |
| Sites comptés (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Robot | Top 10 000 | 10 001–100 000 | 100 001–1 million | En néerlandais | En allemand |
|---|---|---|---|---|---|
| Googlebot | 3,6 %2,7 %–4,8 % | 2,4 %1,7 %–3,4 % | 3,6 %2,7 %–4,8 % | 1,8 %1,2 %–2,6 % | 2,2 %1,5 %–3,1 % |
| bingbot | 3,9 %3 %–5,1 % | 3,3 %2,5 %–4,4 % | 4,5 %3,5 %–5,8 % | 2,4 %1,7 %–3,3 % | 2,4 %1,8 %–3,4 % |
| Sites comptés (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
Sous chaque part figure sa fourchette : avec 95 % de confiance, la vraie part se situe entre ces deux nombres. Les colonnes 1 à 3 sont des sites populaires selon leur rang dans la liste Tranco, les colonnes 4 et 5 des sites en néerlandais et en allemand de l’annuaire Curlie.
Comment les sites disent non
Parmi les sites du top 10 000 qui excluent GPTBot, 69 % utilisent une règle qui nomme GPTBot. Pour 22,2 %, seule la règle pour tous les robots le fait, peut-être sans que le propriétaire ait jamais pensé à l’IA. Pour 8,9 %, le robots.txt renvoie une erreur serveur, ce qui vaut un blocage complet.
Cela compte quand on fait les comptes. Une vérification qui ne cherche que le nom d’un robot passe à côté du deuxième groupe. Une ancienne page de notre site reposait justement sur une telle vérification : nous l’avons retirée et avons tout mesuré à nouveau.
| Robot | Top 10 000 | 10 001–100 000 | 100 001–1 million | En néerlandais | En allemand |
|---|---|---|---|---|---|
| Une règle qui nomme GPTBot | 8,9 %7,4 %–10,6 % | 7,6 %6,2 %–9,1 % | 5,4 %4,3 %–6,8 % | 1,4 %0,9 %–2,2 % | 1,6 %1,1 %–2,4 % |
| Seulement la règle pour tous les robots (*) | 2,9 %2,1 %–3,9 % | 2,2 %1,5 %–3,2 % | 5,7 %4,5 %–7,1 % | 1,3 %0,8 %–2 % | 1,3 %0,9 %–2,1 % |
| Le robots.txt renvoie une erreur serveur | 1,1 %0,7 %–1,9 % | 1 %0,6 %–1,7 % | 1,6 %1 %–2,4 % | 0,9 %0,5 %–1,6 % | 0,9 %0,5 %–1,5 % |
| Sites comptés (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
Robots d’entraînement contre robots de recherche
OpenAI utilise deux robots. GPTBot collecte du contenu pour l’entraînement, OAI-SearchBot trouve des pages pour la recherche ChatGPT. Parmi les sites du top 10 000 qui bloquent GPTBot, 42,4 % laissent encore entrer OAI-SearchBot.
Cette part inclut les sites dont le robots.txt a renvoyé une erreur, ce qui bloque aussi OAI-SearchBot. Parmi les sites qui ont une règle contre GPTBot, 46,5 % laissent entrer OAI-SearchBot (exploratoire).
Cela ressemble à un choix délibéré. Selon OpenAI, les sites qui bloquent OAI-SearchBot n’apparaissent pas dans les réponses de recherche de ChatGPT, alors que bloquer GPTBot seul n’a pas cet effet.
| Robot | Top 10 000 | 10 001–100 000 | 100 001–1 million | En néerlandais | En allemand |
|---|---|---|---|---|---|
| Bloquent au moins un robot d’IA | 17,2 %15,2 %–19,4 % | 13,3 %11,5 %–15,3 % | 15,5 %13,6 %–17,6 % | 5,2 %4,2 %–6,5 % | 4,4 %3,5 %–5,6 % |
| Bloquent tous les robots d’IA de notre liste | 4,3 %3,3 %–5,6 % | 3,1 %2,3 %–4,2 % | 4 %3,1 %–5,3 % | 2,3 %1,6 %–3,2 % | 2,2 %1,6 %–3,1 % |
| Sites comptés (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Robot | Top 10 000 | 10 001–100 000 | 100 001–1 million | En néerlandais | En allemand |
|---|---|---|---|---|---|
| Laissent encore entrer OAI-SearchBot | 42,4 %35 %–50,2 % | 56,2 %47,8 %–64,2 % | 33,8 %26,9 %–41,4 % | 29,4 %18,7 %–43 % | 36,4 %24,9 %–49,6 % |
| Sites qui bloquent GPTBot (n) | 158 | 137 | 160 | 51 | 55 |
llms.txt : qui en a un ?
Un fichier llms.txt est un court résumé d’un site pour les outils d’IA, écrit en Markdown. C’est une proposition, pas une norme. Google dit que la recherche Google l’ignore. Pour en savoir plus, lisez notre guide sur llms.txt, ou vérifiez votre fichier avec notre vérificateur llms.txt.
13,4 % des sites du top 10 000 proposent un fichier texte sur /llms.txt. Attention aux faux-semblants : 13,2 % répondent avec une page web ordinaire. Parmi les fichiers texte, 83,8 % passent le contrôle llms.txt de base de Chrome Lighthouse.
| llms.txt | Top 10 000 | 10 001–100 000 | 100 001–1 million | En néerlandais | En allemand |
|---|---|---|---|---|---|
| Proposent un fichier texte sur /llms.txt | 13,4 %11,6 %–15,5 % | 12,4 %10,6 %–14,4 % | 13,5 %11,7 %–15,6 % | 5,8 %4,7 %–7,2 % | 7,4 %6,1 %–8,9 % |
| Proposent un fichier texte qui passe le contrôle de Lighthouse | 11,2 %9,5 %–13,2 % | 10,6 %9 %–12,5 % | 11,4 %9,7 %–13,4 % | 5,4 %4,4 %–6,8 % | 7 %5,8 %–8,5 % |
| Renvoient une page web (pas un vrai fichier) | 13,2 %11,3 %–15,2 % | 13,5 %11,6 %–15,5 % | 13,9 %12,1 %–16,1 % | 12,7 %11,1 %–14,6 % | 9,6 %8,2 %–11,3 % |
| Sites qui ont répondu (n) | 1 148 | 1 196 | 1 147 | 1 360 | 1 375 |
| llms.txt | Top 10 000 | 10 001–100 000 | 100 001–1 million | En néerlandais | En allemand |
|---|---|---|---|---|---|
| Passent le contrôle llms.txt de Chrome Lighthouse | 83,8 %77,1 %–88,8 % | 85,8 %79,3 %–90,5 % | 84,5 %78 %–89,4 % | 93,7 %86 %–97,3 % | 94,1 %87,8 %–97,3 % |
| Suivent le format llmstxt.org sans erreur | 49,4 %41,6 %–57,2 % | 48,6 %40,7 %–56,6 % | 27,7 %21,3 %–35,3 % | 54,4 %43,5 %–65 % | 55,9 %46,2 %–65,1 % |
| Sites avec un fichier texte (n) | 154 | 148 | 155 | 79 | 102 |
La plupart des fichiers qui enfreignent le format llmstxt.org listent des pages sans lien, ou ne commencent pas par une ligne de titre. Certains « fichiers » ne sont qu’un message d’erreur ou le mot ok.
D’autres études trouvent d’autres chiffres, parce qu’elles comptent autrement. Le Web Almanac 2025 a trouvé un llms.txt valide sur environ 2,1 % des sites qu’il explore. Ahrefs (données d’un éditeur) a compté 28 % de 137 210 domaines de ses propres clients analytics, un plafond selon lui, et a constaté que 97 % de ces fichiers n’avaient reçu aucune requête en mai 2026. SE Ranking (données d’un éditeur) a trouvé un llms.txt sur 10 % d’environ 300 000 domaines.
Ce que cela ne prouve pas
- Le robots.txt est une demande, pas un verrou. Beaucoup de sites arrêtent aussi les robots avec un pare-feu ou un réglage de leur CDN. Nous lisons seulement ce que dit le fichier.
- Nous ne sommes pas GPTBot. Un site peut répondre aux robots d’IA autrement qu’au nôtre, et certains sites bloquent complètement les robots inconnus.
- Nous n’avons vérifié que l’accès à la page d’accueil. Un site peut autoriser la page d’accueil et bloquer tout le reste.
- C’est un instantané d’une seule journée. Il ne montre aucune tendance. Les sites modifient leurs fichiers en permanence.
- Il ne dit rien sur la question de savoir si bloquer (ou avoir un llms.txt) change la fréquence à laquelle les outils d’IA montrent ou citent un site.
Notre méthode
Nous avons tiré au hasard 1 500 sites dans chacun de cinq groupes : trois tranches de rang de la liste Tranco 467YX des sites populaires (rangs 1 à 10 000, 10 001 à 100 000 et 100 001 à 1 000 000), plus les sections en néerlandais et en allemand de l’annuaire Curlie (47 502 et 309 045 sites inscrits avec leur page d’accueil). Grâce à une graine aléatoire fixe, toute personne disposant des deux mêmes fichiers tire exactement les mêmes sites.
Un seul ordinateur aux Pays-Bas, sur une connexion internet domestique ordinaire, a visité tous les sites en environ 25 minutes. Il se présentait honnêtement comme GEOScoreBot/1.0 (+https://geo-score.online), faisait une pause entre deux requêtes vers le même site et ne récupérait que ce que robots.txt autorisait.
Nous avons lu chaque robots.txt avec notre analyseur RFC 9309, celui qui fait tourner notre vérificateur de robots d’IA. Un groupe au nom du robot l’emporte sur la règle pour tous les robots. Pas de robots.txt du tout (une réponse 4xx) : tous les robots peuvent venir. Une erreur serveur (5xx) : aucun robot ne peut venir. La RFC 9309 range 429 (trop de requêtes) parmi les réponses 4xx, donc les robots pourraient venir, mais Google et Lighthouse le lisent comme un non, et nous aussi. Les sites qui n’ont pas répondu du tout (pas de DNS, pas de connexion) sont exclus des parts. Selon la norme, les robots devraient alors aussi rester dehors, mais une telle erreur ne dit rien de ce que veut le site.
Les chiffres en haut de cette page ne comptent que les règles du robots.txt : une règle qui nomme le robot, ou la règle pour tous les robots. Nous avons ajouté cette distinction après avoir enregistré notre méthode, c’est donc une mesure exploratoire. Les tableaux gardent la mesure enregistrée, qui compte aussi une erreur comme un blocage.
Nous avons écrit les questions, l’échantillon et chaque mesure avant le début du crawl, et enregistré ce plan. Tout ce que nous avons décidé après avoir vu les données est signalé comme exploratoire.
| Étape | Top 10 000 | 10 001–100 000 | 100 001–1 million | En néerlandais | En allemand |
|---|---|---|---|---|---|
| Sites tirés | 1 500 | 1 500 | 1 500 | 1 500 | 1 500 |
| Aucune réponse (pas de site, erreur DNS ou de connexion) | 273 | 230 | 234 | 97 | 70 |
| Le robots.txt a répondu : compté dans les parts | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| … un vrai fichier robots.txt | 897 | 913 | 898 | 1 012 | 1 014 |
| … une page web au lieu d’un fichier robots.txt | 91 | 84 | 87 | 115 | 80 |
| … pas de robots.txt (4xx) | 225 | 260 | 261 | 263 | 323 |
| … erreur serveur (429 ou 5xx) | 14 | 13 | 20 | 13 | 13 |
| La page d’accueil s’est ouverte normalement pour notre robot | 922 | 1 017 | 983 | 1 311 | 1 350 |
| La page d’accueil a refusé notre robot (401, 403 ou 429) | 175 | 147 | 113 | 35 | 16 |
| La page d’accueil a donné une autre réponse ou a échoué | 68 | 59 | 73 | 25 | 29 |
| Page d’accueil non visitée : le robots.txt nous disait non | 62 | 47 | 97 | 32 | 35 |
Une page d’accueil qui refuse notre robot, c’est une protection anti-robots, pas une règle robots.txt. Nous ne la comptons jamais comme « bloque l’IA ».
RFC 9309, la norme robots.txtD’autres études sur la même question
Le Web Almanac 2025 (HTTP Archive) a trouvé GPTBot nommé dans le robots.txt de 4,5 % des sites sur ordinateur, sur des millions de sites. Dans notre échantillon du top 10 000, 12,6 % des fichiers nomment GPTBot. Nommer un robot n’est pas la même chose que le bloquer : certains fichiers nomment un robot pour l’autoriser.
Cloudflare Radar vérifie chaque semaine les robots.txt des 10 000 domaines les plus populaires et compte les règles qui nomment chaque robot d’IA (données d’un éditeur). Nous comptons aussi la règle pour tous les robots et les erreurs serveur, et nous regardons au-delà du top 10 000.
Une étude de 2024 de Longpre et d’autres, Consent in Crisis, a suivi environ 14 000 domaines derrière de grands jeux de données d’entraînement d’IA. Elle a montré que les restrictions visant les robots d’IA ont fortement augmenté en 2023 et 2024.
Vérifiez votre propre site
Ce sont des moyennes. Votre site, lui, est dedans ou dehors. Nos outils gratuits le vérifient en quelques secondes.
Télécharger les données
Chaque nombre de cette page figure dans le fichier CSV, une ligne par nombre, avec son effectif, sa base et sa fourchette à 95 %. Il ne contient que des totaux, aucun nom de site.
Télécharger les chiffres (CSV)Vous pouvez réutiliser les chiffres sous licence CC BY 4.0. Merci de citer GEO-Score et de mettre un lien vers cette page.
Sources des listes de sites
Sites populaires : la liste Tranco 467YX (Le Pochat et al., NDSS 2019).
Sites en néerlandais et en allemand : avec du contenu de Curlie.org – le plus grand annuaire du Web édité par des humains. Contribuez en proposant un site ou en devenant éditeur. Les données Curlie sont sous licence CC BY 3.0.
20 octobre 2026 : première mesure publiée.