Egen research
Hvor mange websites blokerer AI-crawlere?
Den 20. oktober 2026 havde 11,7 % af de 10.000 mest populære websites en regel i robots.txt, der holder OpenAIs træningsbot GPTBot væk fra forsiden. Færre gjorde det for botten bag ChatGPT-søgning: 6,3 % havde en regel mod OAI-SearchBot. Yderligere 1,1 % svarede med en fejl i stedet for en robots.txt. Det er snarere et serverproblem end et valg, men det holder også bots ude.
Målt den 20. oktober 2026
- af top 10.000 har en robots.txt-regel mod GPTBot
- 11,7 %
- har en regel mod OAI-SearchBot (ChatGPT-søgning)
- 6,3 %
- har en tekstfil på /llms.txt
- 13,4 %
Hvad vi testede
Næsten alle websites har en lille fil, der hedder robots.txt. Den fortæller bots, hvilke sider de må besøge. AI-firmaerne siger, at deres bots læser den, så det er den vigtigste måde for et site at sige ja eller nej til dem.
Vi hentede filen fra alle sider i stikprøven og læste den, sådan som den officielle standard (RFC 9309) siger, bots skal. For hver AI-bot stillede vi ét spørgsmål: Må den åbne forsiden?
En fil kan sige nej på to måder: med en regel, der nævner botten ved navn, eller med en regel for alle bots (User-agent: *). Og hvis selve filen giver en serverfejl, siger standarden, at bots skal holde sig helt væk. Vi tæller alle tre og viser dem hver for sig.
Hvilke AI-bots bliver blokeret, og hvor
Hver tabel viser for hver bot andelen af sider, hvis robots.txt holder den væk fra forsiden. Populære sider blokerer AI-bots omkring tre gange så ofte som hollandsk- og tysksprogede sider fra kataloget. På populære sider bliver træningsbots blokeret oftere end de bots, der henter sider til AI-søgning.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 million | Hollandsksprogede | Tysksprogede |
|---|---|---|---|---|---|
| GPTBot | 12,9 %11,1 %–14,9 % | 10,8 %9,2 %–12,6 % | 12,6 %10,9 %–14,6 % | 3,6 %2,8 %–4,7 % | 3,8 %3 %–5 % |
| ClaudeBot | 12,6 %10,9 %–14,6 % | 9,1 %7,6 %–10,8 % | 12,2 %10,6 %–14,2 % | 3,7 %2,8 %–4,8 % | 3,1 %2,3 %–4,1 % |
| CCBot | 14 %12,2 %–16,1 % | 9,6 %8,1 %–11,4 % | 9,6 %8,1 %–11,3 % | 3,3 %2,5 %–4,3 % | 3,3 %2,5 %–4,3 % |
| Google-Extended | 11,1 %9,4 %–13 % | 7,7 %6,4 %–9,3 % | 11,1 %9,5 %–13 % | 2,9 %2,2 %–3,9 % | 3 %2,2 %–4 % |
| Applebot-Extended | 11,2 %9,6 %–13,1 % | 8,1 %6,7 %–9,7 % | 11,2 %9,6 %–13,1 % | 2,6 %1,9 %–3,6 % | 2,9 %2,2 %–3,9 % |
| meta-externalagent | 10,9 %9,3 %–12,8 % | 8,4 %7 %–10,1 % | 11,2 %9,6 %–13,1 % | 3,1 %2,3 %–4,2 % | 3,6 %2,8 %–4,7 % |
| Bytespider | 13,7 %11,9 %–15,7 % | 9,8 %8,3 %–11,5 % | 9,1 %7,6 %–10,8 % | 4,1 %3,1 %–5,2 % | 3,6 %2,8 %–4,7 % |
| Amazonbot | 10,8 %9,1 %–12,6 % | 8,1 %6,7 %–9,7 % | 12,1 %10,4 %–14 % | 3,8 %2,9 %–4,9 % | 3 %2,2 %–4 % |
| Sider talt med (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 million | Hollandsksprogede | Tysksprogede |
|---|---|---|---|---|---|
| OAI-SearchBot | 7,4 %6,1 %–9 % | 4,7 %3,7 %–6 % | 8,4 %7 %–10 % | 2,6 %1,9 %–3,6 % | 2,4 %1,8 %–3,4 % |
| ChatGPT-User | 8,5 %7 %–10,2 % | 6,6 %5,4 %–8,1 % | 9,6 %8,1 %–11,4 % | 3 %2,2 %–4 % | 2,8 %2,1 %–3,8 % |
| Claude-SearchBot | 6,8 %5,5 %–8,3 % | 4,5 %3,5 %–5,8 % | 8,3 %6,9 %–9,9 % | 2,6 %1,9 %–3,5 % | 2,4 %1,8 %–3,4 % |
| Claude-User | 6,7 %5,4 %–8,2 % | 4,6 %3,6 %–5,9 % | 8,3 %6,9 %–9,9 % | 2,4 %1,7 %–3,4 % | 2,4 %1,7 %–3,3 % |
| PerplexityBot | 9,9 %8,3 %–11,7 % | 5,5 %4,4 %–6,9 % | 9,3 %7,8 %–11 % | 2,8 %2 %–3,8 % | 2,7 %1,9 %–3,6 % |
| Perplexity-User | 7,3 %6 %–8,9 % | 4,3 %3,3 %–5,5 % | 8,1 %6,8 %–9,8 % | 2,6 %1,9 %–3,5 % | 2,6 %1,9 %–3,5 % |
| Sider talt med (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 million | Hollandsksprogede | Tysksprogede |
|---|---|---|---|---|---|
| Googlebot | 3,6 %2,7 %–4,8 % | 2,4 %1,7 %–3,4 % | 3,6 %2,7 %–4,8 % | 1,8 %1,2 %–2,6 % | 2,2 %1,5 %–3,1 % |
| bingbot | 3,9 %3 %–5,1 % | 3,3 %2,5 %–4,4 % | 4,5 %3,5 %–5,8 % | 2,4 %1,7 %–3,3 % | 2,4 %1,8 %–3,4 % |
| Sider talt med (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
Under hver andel står dens interval: med 95 % sikkerhed ligger den rigtige andel mellem de to tal. Kolonne 1-3 er populære sider efter placering på Tranco-listen, kolonne 4-5 hollandsk- og tysksprogede sider fra webkataloget Curlie.
Sådan siger sider nej
Af de sider i top 10.000, der holder GPTBot ude, bruger 69 % en regel, der nævner GPTBot ved navn. For 22,2 % er det kun reglen for alle bots, der gør det, måske uden at ejeren nogensinde har tænkt på AI. For 8,9 % giver robots.txt en serverfejl, og det tæller som fuld blokering.
Det betyder noget, når man tæller. Et tjek, der kun leder efter en bots navn, overser den anden gruppe. En tidligere side hos os byggede netop på sådan et tjek, så vi tog den ned og målte igen.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 million | Hollandsksprogede | Tysksprogede |
|---|---|---|---|---|---|
| En regel, der nævner GPTBot | 8,9 %7,4 %–10,6 % | 7,6 %6,2 %–9,1 % | 5,4 %4,3 %–6,8 % | 1,4 %0,9 %–2,2 % | 1,6 %1,1 %–2,4 % |
| Kun reglen for alle bots (*) | 2,9 %2,1 %–3,9 % | 2,2 %1,5 %–3,2 % | 5,7 %4,5 %–7,1 % | 1,3 %0,8 %–2 % | 1,3 %0,9 %–2,1 % |
| robots.txt giver en serverfejl | 1,1 %0,7 %–1,9 % | 1 %0,6 %–1,7 % | 1,6 %1 %–2,4 % | 0,9 %0,5 %–1,6 % | 0,9 %0,5 %–1,5 % |
| Sider talt med (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
Træningsbots mod søgebots
OpenAI bruger to bots. GPTBot indsamler indhold til træning, OAI-SearchBot finder sider til ChatGPT-søgning. Af de sider i top 10.000, der blokerer GPTBot, lukker 42,4 % stadig OAI-SearchBot ind.
Den andel tæller også sider med, hvis robots.txt gav en fejl, og de holder også OAI-SearchBot ude. Af siderne med en regel mod GPTBot lukker 46,5 % OAI-SearchBot ind (udforskende).
Det ligner et bevidst valg. Ifølge OpenAI vises sider, der blokerer OAI-SearchBot, ikke i ChatGPTs søgesvar, mens det ikke har den effekt kun at blokere GPTBot.
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 million | Hollandsksprogede | Tysksprogede |
|---|---|---|---|---|---|
| Blokerer mindst én AI-bot | 17,2 %15,2 %–19,4 % | 13,3 %11,5 %–15,3 % | 15,5 %13,6 %–17,6 % | 5,2 %4,2 %–6,5 % | 4,4 %3,5 %–5,6 % |
| Blokerer alle AI-bots på vores liste | 4,3 %3,3 %–5,6 % | 3,1 %2,3 %–4,2 % | 4 %3,1 %–5,3 % | 2,3 %1,6 %–3,2 % | 2,2 %1,6 %–3,1 % |
| Sider talt med (n) | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| Bot | Top 10.000 | 10.001–100.000 | 100.001–1 million | Hollandsksprogede | Tysksprogede |
|---|---|---|---|---|---|
| Lukker stadig OAI-SearchBot ind | 42,4 %35 %–50,2 % | 56,2 %47,8 %–64,2 % | 33,8 %26,9 %–41,4 % | 29,4 %18,7 %–43 % | 36,4 %24,9 %–49,6 % |
| Sider, der blokerer GPTBot (n) | 158 | 137 | 160 | 51 | 55 |
llms.txt: hvem har en?
En llms.txt-fil er et kort resumé af et website til AI-værktøjer, skrevet i Markdown. Det er et forslag, ikke en standard. Google siger, at Google Søgning ignorerer den. Læs mere i vores guide til llms.txt, eller tjek din egen fil med vores llms.txt-tjekker.
13,4 % af siderne i top 10.000 har en tekstfil på /llms.txt. Pas på efterligninger: 13,2 % svarer med en almindelig webside. Af tekstfilerne består 83,8 % Chrome Lighthouses grundlæggende llms.txt-tjek.
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 million | Hollandsksprogede | Tysksprogede |
|---|---|---|---|---|---|
| Har en tekstfil på /llms.txt | 13,4 %11,6 %–15,5 % | 12,4 %10,6 %–14,4 % | 13,5 %11,7 %–15,6 % | 5,8 %4,7 %–7,2 % | 7,4 %6,1 %–8,9 % |
| Har en tekstfil, der består Lighthouse-tjekket | 11,2 %9,5 %–13,2 % | 10,6 %9 %–12,5 % | 11,4 %9,7 %–13,4 % | 5,4 %4,4 %–6,8 % | 7 %5,8 %–8,5 % |
| Giver en webside (ikke en rigtig fil) | 13,2 %11,3 %–15,2 % | 13,5 %11,6 %–15,5 % | 13,9 %12,1 %–16,1 % | 12,7 %11,1 %–14,6 % | 9,6 %8,2 %–11,3 % |
| Sider, der svarede (n) | 1.148 | 1.196 | 1.147 | 1.360 | 1.375 |
| llms.txt | Top 10.000 | 10.001–100.000 | 100.001–1 million | Hollandsksprogede | Tysksprogede |
|---|---|---|---|---|---|
| Består llms.txt-tjekket i Chrome Lighthouse | 83,8 %77,1 %–88,8 % | 85,8 %79,3 %–90,5 % | 84,5 %78 %–89,4 % | 93,7 %86 %–97,3 % | 94,1 %87,8 %–97,3 % |
| Følger llmstxt.org-formatet uden fejl | 49,4 %41,6 %–57,2 % | 48,6 %40,7 %–56,6 % | 27,7 %21,3 %–35,3 % | 54,4 %43,5 %–65 % | 55,9 %46,2 %–65,1 % |
| Sider med en tekstfil (n) | 154 | 148 | 155 | 79 | 102 |
De fleste filer, der bryder llmstxt.org-formatet, nævner sider uden link eller starter ikke med en titellinje. Nogle "filer" er bare en fejlmeddelelse eller ordet ok.
Andre undersøgelser kommer frem til andre tal, fordi de tæller anderledes. Web Almanac 2025 fandt en gyldig llms.txt på omkring 2,1 % af alle de sider, den crawler. Ahrefs (leverandørdata) talte 28 % af 137.210 domæner fra sine egne analytics-kunder, efter eget udsagn en øvre grænse, og så, at 97 % af filerne ikke fik én eneste forespørgsel i maj 2026. SE Ranking (leverandørdata) fandt en llms.txt på 10 % af omkring 300.000 domæner.
Hvad det ikke beviser
- robots.txt er en anmodning, ikke en lås. Mange sider stopper også bots med en firewall eller en indstilling i deres CDN. Vi læser kun, hvad der står i filen.
- Vi er ikke GPTBot. Et site kan svare AI-bots anderledes end vores bot, og nogle sider blokerer ukendte bots helt.
- Vi tjekkede kun adgangen til forsiden. Et site kan tillade forsiden og blokere alt andet.
- Det her er et øjebliksbillede fra én dag. Det viser ingen tendens. Sider ændrer hele tiden deres filer.
- Det siger intet om, hvorvidt blokering (eller en llms.txt) ændrer, hvor ofte AI-værktøjer viser eller citerer et site.
Sådan gjorde vi
Vi trak tilfældigt 1.500 sider fra hver af fem grupper: tre placeringsintervaller på Tranco-listen 467YX over populære websites (plads 1-10.000, 10.001-100.000 og 100.001-1.000.000) samt de hollandsk- og tysksprogede afdelinger af webkataloget Curlie (47.502 og 309.045 sider, der står med deres forside). Med et fast startpunkt for tilfældet trækker alle med de samme to filer præcis de samme sider.
Én computer i Holland, på en almindelig internetforbindelse i hjemmet, besøgte alle sider på omkring 25 minutter. Den præsenterede sig ærligt som GEOScoreBot/1.0 (+https://geo-score.online), holdt pauser mellem forespørgsler til samme side og hentede kun det, robots.txt tillod.
Vi læste hver robots.txt med vores RFC 9309-parser, den samme som bag vores AI-crawler-tjekker. En gruppe med en bots eget navn går forud for reglen for alle bots. Ingen robots.txt (et 4xx-svar) betyder, at alle bots må komme. En serverfejl (5xx) betyder, at ingen bot må komme. RFC 9309 regner 429 (for mange forespørgsler) blandt 4xx-svarene, så bots må komme, men Google og Lighthouse læser det som et nej, og det gør vi også. Sider, der slet ikke svarede (ingen DNS eller ingen forbindelse), er holdt ude af andelene. Ifølge standarden skal bots så også holde sig helt væk, men sådan en fejl siger intet om, hvad siden vil.
Tallene øverst på siden tæller kun regler i robots.txt: en regel, der nævner botten, eller reglen for alle bots. Den opdeling tilføjede vi, efter vi havde registreret vores metode, så den er udforskende. Tabellerne holder fast i det registrerede mål, som også tæller en fejl som en blokering.
Vi skrev spørgsmålene, stikprøven og hver måling ned, før crawlet begyndte, og gemte planen. Alt, vi besluttede efter at have set dataene, er markeret som udforskende.
| Trin | Top 10.000 | 10.001–100.000 | 100.001–1 million | Hollandsksprogede | Tysksprogede |
|---|---|---|---|---|---|
| Trukne sider | 1.500 | 1.500 | 1.500 | 1.500 | 1.500 |
| Intet svar (intet website, DNS- eller forbindelsesfejl) | 273 | 230 | 234 | 97 | 70 |
| robots.txt svarede: talt med i andelene | 1.227 | 1.270 | 1.266 | 1.403 | 1.430 |
| … en rigtig robots.txt-fil | 897 | 913 | 898 | 1.012 | 1.014 |
| … en webside i stedet for en robots.txt-fil | 91 | 84 | 87 | 115 | 80 |
| … ingen robots.txt (4xx) | 225 | 260 | 261 | 263 | 323 |
| … serverfejl (429 eller 5xx) | 14 | 13 | 20 | 13 | 13 |
| Forsiden åbnede normalt for vores bot | 922 | 1.017 | 983 | 1.311 | 1.350 |
| Forsiden afviste vores bot (401, 403 eller 429) | 175 | 147 | 113 | 35 | 16 |
| Forsiden gav et andet svar eller fejlede | 68 | 59 | 73 | 25 | 29 |
| Forsiden ikke besøgt: robots.txt sagde nej til os | 62 | 47 | 97 | 32 | 35 |
En forside, der afviser vores bot, er botbeskyttelse, ikke en robots.txt-regel. Det tæller vi aldrig som "blokerer AI".
RFC 9309, standarden for robots.txtAndre undersøgelser af samme spørgsmål
Web Almanac 2025 (HTTP Archive) fandt GPTBot nævnt ved navn i robots.txt på 4,5 % af desktop-sider, på tværs af millioner af sider. I vores stikprøve fra top 10.000 nævner 12,6 % af filerne GPTBot. At nævne en bot er ikke det samme som at blokere den: nogle filer nævner en bot for at tillade den.
Cloudflare Radar tjekker hver uge robots.txt hos de 10.000 mest populære domæner og tæller regler, der nævner hver AI-bot ved navn (leverandørdata). Vi tæller også reglen for alle bots og serverfejl, og vi kigger ud over top 10.000.
En undersøgelse fra 2024 af Longpre m.fl., Consent in Crisis, fulgte omkring 14.000 domæner bag store AI-træningsdatasæt. Den viste, at begrænsningerne for AI-crawlere steg kraftigt i 2023 og 2024.
Tjek din egen side
Det her er gennemsnit. Din egen side er enten med eller ej. Vores gratis værktøjer tjekker det på få sekunder.
Hent dataene
Alle tal på siden står i CSV-filen, én linje pr. tal, med antal, grundlag og 95 %-interval. Den indeholder kun totaler, ingen navne på sider.
Hent tallene (CSV)Du må genbruge tallene under licensen CC BY 4.0. Nævn GEO-Score og link til denne side.
Kilder til listerne over sider
Populære sider: Tranco-listen 467YX (Le Pochat m.fl., NDSS 2019).
Hollandsk- og tysksprogede sider: med indhold fra Curlie.org - det største menneskeredigerede webkatalog. Bidrag ved at indsende et website eller blive redaktør. Curlie-data er under licensen CC BY 3.0.
20. oktober 2026: første måling offentliggjort.