Eigen onderzoek
Hoeveel websites blokkeren AI-crawlers?
Op 20 oktober 2026 had 2,7% van de Nederlandstalige sites in de Curlie-webgids een regel in robots.txt die de trainingsbot GPTBot van OpenAI van de homepage weghoudt. Voor OAI-SearchBot, de bot achter ChatGPT-zoeken, was dat 1,7%. Nog eens 0,9% gaf een foutmelding in plaats van een robots.txt. Dat is eerder een serverprobleem dan een keuze, maar het houdt bots ook buiten. Populaire sites wereldwijd hebben veel vaker zo'n regel.
Gemeten op 20 oktober 2026
- van de Nederlandstalige sites in de Curlie-webgids heeft een regel tegen GPTBot
- 2,7%
- heeft een regel tegen OAI-SearchBot (ChatGPT-zoeken)
- 1,7%
- heeft een tekstbestand op /llms.txt
- 5,8%
Wat we hebben getest
Bijna elke website heeft een klein bestand dat robots.txt heet. Daarin staat welke pagina's bots mogen bezoeken. AI-bedrijven zeggen dat hun bots het lezen, dus hiermee zegt een site ja of nee tegen ze.
We haalden dat bestand op bij elke site in onze steekproef en lazen het zoals de officiële standaard (RFC 9309) het voorschrijft. Per AI-bot stelden we één vraag: mag hij de homepage openen?
Een bestand kan op twee manieren nee zeggen: met een regel die de bot bij naam noemt, of met een regel voor alle bots (User-agent: *). En als het bestand zelf een serverfout geeft, moeten bots volgens de standaard helemaal wegblijven. We tellen alle drie, en laten ze apart zien.
Welke AI-bots worden geblokkeerd, en waar
Elke tabel laat per bot zien welk deel van de sites hem via robots.txt van de homepage weert. Populaire sites blokkeren AI-bots ongeveer drie keer zo vaak als Nederlandstalige en Duitstalige sites uit de webgids. Bij populaire sites worden trainingsbots vaker geblokkeerd dan de bots die pagina's ophalen voor AI-zoeken.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 miljoen | Nederlandstalig | Duitstalig |
|---|---|---|---|---|---|
| GPTBot | 12,9%11,1%–14,9% | 10,8%9,2%–12,6% | 12,6%10,9%–14,6% | 3,6%2,8%–4,7% | 3,8%3%–5% |
| ClaudeBot | 12,6%10,9%–14,6% | 9,1%7,6%–10,8% | 12,2%10,6%–14,2% | 3,7%2,8%–4,8% | 3,1%2,3%–4,1% |
| CCBot | 14%12,2%–16,1% | 9,6%8,1%–11,4% | 9,6%8,1%–11,3% | 3,3%2,5%–4,3% | 3,3%2,5%–4,3% |
| Google-Extended | 11,1%9,4%–13% | 7,7%6,4%–9,3% | 11,1%9,5%–13% | 2,9%2,2%–3,9% | 3%2,2%–4% |
| Applebot-Extended | 11,2%9,6%–13,1% | 8,1%6,7%–9,7% | 11,2%9,6%–13,1% | 2,6%1,9%–3,6% | 2,9%2,2%–3,9% |
| meta-externalagent | 10,9%9,3%–12,8% | 8,4%7%–10,1% | 11,2%9,6%–13,1% | 3,1%2,3%–4,2% | 3,6%2,8%–4,7% |
| Bytespider | 13,7%11,9%–15,7% | 9,8%8,3%–11,5% | 9,1%7,6%–10,8% | 4,1%3,1%–5,2% | 3,6%2,8%–4,7% |
| Amazonbot | 10,8%9,1%–12,6% | 8,1%6,7%–9,7% | 12,1%10,4%–14% | 3,8%2,9%–4,9% | 3%2,2%–4% |
| Aantal sites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 miljoen | Nederlandstalig | Duitstalig |
|---|---|---|---|---|---|
| OAI-SearchBot | 7,4%6,1%–9% | 4,7%3,7%–6% | 8,4%7%–10% | 2,6%1,9%–3,6% | 2,4%1,8%–3,4% |
| ChatGPT-User | 8,5%7%–10,2% | 6,6%5,4%–8,1% | 9,6%8,1%–11,4% | 3%2,2%–4% | 2,8%2,1%–3,8% |
| Claude-SearchBot | 6,8%5,5%–8,3% | 4,5%3,5%–5,8% | 8,3%6,9%–9,9% | 2,6%1,9%–3,5% | 2,4%1,8%–3,4% |
| Claude-User | 6,7%5,4%–8,2% | 4,6%3,6%–5,9% | 8,3%6,9%–9,9% | 2,4%1,7%–3,4% | 2,4%1,7%–3,3% |
| PerplexityBot | 9,9%8,3%–11,7% | 5,5%4,4%–6,9% | 9,3%7,8%–11% | 2,8%2%–3,8% | 2,7%1,9%–3,6% |
| Perplexity-User | 7,3%6%–8,9% | 4,3%3,3%–5,5% | 8,1%6,8%–9,8% | 2,6%1,9%–3,5% | 2,6%1,9%–3,5% |
| Aantal sites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 miljoen | Nederlandstalig | Duitstalig |
|---|---|---|---|---|---|
| Googlebot | 3,6%2,7%–4,8% | 2,4%1,7%–3,4% | 3,6%2,7%–4,8% | 1,8%1,2%–2,6% | 2,2%1,5%–3,1% |
| bingbot | 3,9%3%–5,1% | 3,3%2,5%–4,4% | 4,5%3,5%–5,8% | 2,4%1,7%–3,3% | 2,4%1,8%–3,4% |
| Aantal sites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
Onder elk percentage staat een bandbreedte: met 95% zekerheid ligt het echte percentage tussen die twee getallen. Kolom 1-3 zijn populaire sites op rang in de Tranco-lijst, kolom 4-5 Nederlandstalige en Duitstalige sites uit de Curlie-webgids.
Hoe sites nee zeggen
Van de Nederlandstalige sites die GPTBot buitensluiten, gebruikt 39,2% een regel die GPTBot bij naam noemt. Bij 35,3% doet alleen de regel voor alle bots het, misschien zonder dat de eigenaar ooit aan AI dacht. Bij 25,5% geeft robots.txt een serverfout, en dat telt als volledige blokkade.
Dit maakt uit als je telt. Een check die alleen naar de naam van een bot kijkt, mist de tweede groep. Een eerdere pagina van ons leunde op precies zo'n check, dus die hebben we offline gehaald en opnieuw gemeten.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 miljoen | Nederlandstalig | Duitstalig |
|---|---|---|---|---|---|
| Een regel die GPTBot noemt | 8,9%7,4%–10,6% | 7,6%6,2%–9,1% | 5,4%4,3%–6,8% | 1,4%0,9%–2,2% | 1,6%1,1%–2,4% |
| Alleen de regel voor alle bots (*) | 2,9%2,1%–3,9% | 2,2%1,5%–3,2% | 5,7%4,5%–7,1% | 1,3%0,8%–2% | 1,3%0,9%–2,1% |
| robots.txt geeft een serverfout | 1,1%0,7%–1,9% | 1%0,6%–1,7% | 1,6%1%–2,4% | 0,9%0,5%–1,6% | 0,9%0,5%–1,5% |
| Aantal sites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
Trainingsbots tegenover zoekbots
OpenAI gebruikt twee bots. GPTBot verzamelt content voor training, OAI-SearchBot zoekt pagina's voor ChatGPT-zoeken. Van de Nederlandstalige sites die GPTBot blokkeren, laat 29,4% OAI-SearchBot nog wel binnen.
Dat percentage telt ook sites mee waarvan robots.txt een foutmelding gaf, en die houden OAI-SearchBot ook buiten. Van de sites met een regel tegen GPTBot laat 39,5% OAI-SearchBot binnen (verkennend).
Dat lijkt een bewuste keuze. Volgens OpenAI verschijnen sites die OAI-SearchBot blokkeren niet in de zoekantwoorden van ChatGPT, terwijl alleen GPTBot blokkeren dat niet doet.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 miljoen | Nederlandstalig | Duitstalig |
|---|---|---|---|---|---|
| Blokkeert minstens één AI-bot | 17,2%15,2%–19,4% | 13,3%11,5%–15,3% | 15,5%13,6%–17,6% | 5,2%4,2%–6,5% | 4,4%3,5%–5,6% |
| Blokkeert elke AI-bot op onze lijst | 4,3%3,3%–5,6% | 3,1%2,3%–4,2% | 4%3,1%–5,3% | 2,3%1,6%–3,2% | 2,2%1,6%–3,1% |
| Aantal sites (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 miljoen | Nederlandstalig | Duitstalig |
|---|---|---|---|---|---|
| Laat OAI-SearchBot nog toe | 42,4%35%–50,2% | 56,2%47,8%–64,2% | 33,8%26,9%–41,4% | 29,4%18,7%–43% | 36,4%24,9%–49,6% |
| Sites die GPTBot blokkeren (n) | 158 | 137 | 160 | 51 | 55 |
llms.txt: wie heeft er een?
Een llms.txt-bestand is een korte samenvatting van een website voor AI-tools, in Markdown. Het is een voorstel, geen standaard. Google zegt dat Google Zoeken het negeert. Lees meer in onze gids over llms.txt, of check je eigen bestand met onze llms.txt-checker.
5,8% van de Nederlandstalige sites heeft een tekstbestand op /llms.txt. Let op lookalikes: 12,7% antwoordt met een gewone webpagina. Van de tekstbestanden haalt 93,7% de basiscontrole van Chrome Lighthouse voor llms.txt.
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 miljoen | Nederlandstalig | Duitstalig |
|---|---|---|---|---|---|
| Hebben een tekstbestand op /llms.txt | 13,4%11,6%–15,5% | 12,4%10,6%–14,4% | 13,5%11,7%–15,6% | 5,8%4,7%–7,2% | 7,4%6,1%–8,9% |
| Hebben een tekstbestand dat de Lighthouse-check haalt | 11,2%9,5%–13,2% | 10,6%9%–12,5% | 11,4%9,7%–13,4% | 5,4%4,4%–6,8% | 7%5,8%–8,5% |
| Geven een webpagina (geen echt bestand) | 13,2%11,3%–15,2% | 13,5%11,6%–15,5% | 13,9%12,1%–16,1% | 12,7%11,1%–14,6% | 9,6%8,2%–11,3% |
| Sites die antwoordden (n) | 1.148 | 1.196 | 1.147 | 1.360 | 1.375 |
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 miljoen | Nederlandstalig | Duitstalig |
|---|---|---|---|---|---|
| Halen de llms.txt-check van Chrome Lighthouse | 83,8%77,1%–88,8% | 85,8%79,3%–90,5% | 84,5%78%–89,4% | 93,7%86%–97,3% | 94,1%87,8%–97,3% |
| Volgen het llmstxt.org-formaat zonder fouten | 49,4%41,6%–57,2% | 48,6%40,7%–56,6% | 27,7%21,3%–35,3% | 54,4%43,5%–65% | 55,9%46,2%–65,1% |
| Sites met een tekstbestand (n) | 154 | 148 | 155 | 79 | 102 |
De meeste bestanden die het llmstxt.org-formaat breken, noemen pagina's zonder link of beginnen niet met een titelregel. Sommige "bestanden" zijn alleen een foutmelding of het woord ok.
Ander onderzoek komt op andere getallen, omdat het anders telt. De Web Almanac 2025 vond een geldige llms.txt op ongeveer 2,1% van alle sites die hij crawlt. Ahrefs (data van een leverancier) telde 28% van 137.210 domeinen van de eigen analytics-klanten, volgens Ahrefs zelf een bovengrens, en zag dat 97% van die bestanden in mei 2026 geen enkel verzoek kreeg. SE Ranking (data van een leverancier) vond een llms.txt op 10% van ongeveer 300.000 domeinen.
Wat dit niet bewijst
- robots.txt is een verzoek, geen slot. Veel sites houden bots ook tegen met een firewall of een instelling bij hun CDN. Wij lezen alleen wat in het bestand staat.
- Wij zijn GPTBot niet. Een site kan AI-bots anders antwoorden dan onze bot, en sommige sites weren onbekende bots helemaal.
- We keken alleen naar toegang tot de homepage. Een site kan de homepage toestaan en de rest blokkeren.
- Dit is één momentopname van één dag. Het laat geen trend zien. Sites passen hun bestanden voortdurend aan.
- Het zegt niets over of blokkeren (of een llms.txt) verandert hoe vaak AI-tools een site tonen of citeren.
Zo hebben we het gedaan
We trokken willekeurig 1.500 sites uit elk van vijf groepen: drie rangblokken van de Tranco-lijst 467YX met populaire websites (rang 1-10.000, 10.001-100.000 en 100.001-1.000.000), plus de Nederlandstalige en Duitstalige delen van de Curlie-webgids (47.502 en 309.045 sites die met hun homepage vermeld staan). Door een vaste startwaarde voor het toeval trekt iedereen met dezelfde twee bestanden precies dezelfde sites.
Eén computer in Nederland, op een gewone thuisverbinding, bezocht alle sites in ongeveer 25 minuten. Hij stelde zich eerlijk voor als GEOScoreBot/1.0 (+https://geo-score.online), wachtte even tussen verzoeken aan dezelfde site en haalde alleen op wat robots.txt toestond.
We lazen elke robots.txt met onze RFC 9309-parser, dezelfde die achter onze AI-crawlerchecker zit. Een groep met de eigen naam van een bot gaat vóór de regel voor alle bots. Geen robots.txt (een 4xx-antwoord) betekent dat elke bot mag komen. Een serverfout (5xx) betekent dat geen enkele bot mag komen. RFC 9309 rekent 429 (te veel verzoeken) bij de 4xx-antwoorden, dus dan mogen bots komen, maar Google en Lighthouse lezen het als een nee, en wij ook. Sites die helemaal niet antwoordden (geen DNS of geen verbinding), tellen niet mee in de percentages. Volgens de standaard moeten bots dan ook helemaal wegblijven, maar zo'n fout zegt niets over wat de site wil.
De cijfers bovenaan deze pagina tellen alleen regels in robots.txt: een regel die de bot noemt, of de regel voor alle bots. Die splitsing hebben we toegevoegd nadat we onze methode hadden vastgelegd, dus zie het als verkennend. De tabellen houden de vastgelegde maat aan, die ook een foutmelding als blokkade telt.
We schreven de vragen, de steekproef en elke meting op vóór de crawl begon, en legden dat plan vast. Alles wat we na het zien van de data besloten, staat erbij als verkennend.
| Stap | Top 10.000 | 10.001–100.000 | 100.001–1 miljoen | Nederlandstalig | Duitstalig |
|---|---|---|---|---|---|
| Getrokken sites | 1.500 | 1.500 | 1.500 | 1.500 | 1.500 |
| Helemaal geen antwoord (geen website, DNS- of verbindingsfout) | 273 | 230 | 234 | 97 | 70 |
| robots.txt antwoordde: telt mee in de percentages | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| … een echt robots.txt-bestand | 897 | 913 | 898 | 1.012 | 1.014 |
| … een webpagina in plaats van een robots.txt-bestand | 91 | 84 | 87 | 115 | 80 |
| … geen robots.txt (4xx) | 225 | 260 | 261 | 263 | 323 |
| … serverfout (429 of 5xx) | 14 | 13 | 20 | 13 | 13 |
| Homepage opende normaal voor onze bot | 922 | 1.017 | 983 | 1.311 | 1.350 |
| Homepage weigerde onze bot (401, 403 of 429) | 175 | 147 | 113 | 35 | 16 |
| Homepage gaf een ander antwoord of mislukte | 68 | 59 | 73 | 25 | 29 |
| Homepage niet bezocht: robots.txt zei nee tegen ons | 62 | 47 | 97 | 32 | 35 |
Een homepage die onze bot weigert, is botbescherming, geen robots.txt-regel. Dat tellen we nooit als "blokkeert AI".
RFC 9309, de standaard voor robots.txtAnder onderzoek naar dezelfde vraag
De Web Almanac 2025 (HTTP Archive) vond GPTBot bij naam in robots.txt op 4,5% van de desktopsites, over miljoenen sites. In onze steekproef van Nederlandstalige sites noemt 2,8% van de bestanden GPTBot. Een bot noemen is niet hetzelfde als hem blokkeren: sommige bestanden noemen een bot juist om hem toe te laten.
Cloudflare Radar controleert elke week de robots.txt van de 10.000 populairste domeinen en telt regels die een AI-bot bij naam noemen (data van een leverancier). Wij tellen ook de regel voor alle bots en serverfouten, en kijken verder dan de top 10.000.
Een studie uit 2024 van Longpre en anderen, Consent in Crisis, volgde ongeveer 14.000 domeinen achter grote AI-trainingsdatasets. Daaruit bleek dat de beperkingen voor AI-crawlers in 2023 en 2024 sterk toenamen.
Check je eigen site
Dit zijn gemiddelden. Je eigen site doet wel of niet mee. Onze gratis tools checken het in een paar seconden.
Download de data
Elk getal op deze pagina staat in het CSV-bestand, één regel per getal, met de telling, de basis en de 95%-bandbreedte. Er staan alleen totalen in, geen namen van sites.
Download de cijfers (CSV)Je mag de cijfers hergebruiken onder de licentie CC BY 4.0. Noem GEO-Score en link naar deze pagina.
Bronnen van de sitelijsten
Populaire sites: de Tranco-lijst 467YX (Le Pochat e.a., NDSS 2019).
Nederlandstalige en Duitstalige sites: met inhoud van Curlie.org - de grootste door mensen bewerkte webgids. Draag bij door een website aan te melden of redacteur te worden. Curlie-data valt onder de licentie CC BY 3.0.
20 oktober 2026: eerste meting gepubliceerd.