Egen forskning
Hvor mange nettsteder blokkerer AI-crawlere?
20. oktober 2026 hadde 11,7 % av de 10 000 mest populære nettstedene en regel i robots.txt som holder OpenAIs treningsbot GPTBot unna forsiden. Færre gjorde det for boten bak ChatGPT-søk: 6,3 % hadde en regel mot OAI-SearchBot. Ytterligere 1,1 % svarte med en feil i stedet for en robots.txt. Det er heller et serverproblem enn et valg, men det holder også boter ute.
Målt 20. oktober 2026
- av topp 10 000 har en robots.txt-regel mot GPTBot
- 11,7 %
- har en regel mot OAI-SearchBot (ChatGPT-søk)
- 6,3 %
- har en tekstfil på /llms.txt
- 13,4 %
Hva vi testet
Nesten alle nettsteder har en liten fil som heter robots.txt. Den forteller boter hvilke sider de får besøke. AI-selskapene sier at botene deres leser den, så det er den viktigste måten et nettsted sier ja eller nei til dem på.
Vi hentet filen fra hvert nettsted i utvalget og leste den slik den offisielle standarden (RFC 9309) sier at boter skal. For hver AI-bot stilte vi ett spørsmål: Får den åpne forsiden?
En fil kan si nei på to måter: med en regel som nevner boten ved navn, eller med en regel for alle boter (User-agent: *). Og hvis selve filen gir en serverfeil, sier standarden at boter skal holde seg helt unna. Vi teller alle tre og viser dem hver for seg.
Hvilke AI-boter som blokkeres, og hvor
Hver tabell viser for hver bot andelen nettsteder der robots.txt holder den unna forsiden. Populære nettsteder blokkerer AI-boter omtrent tre ganger så ofte som nederlandsk- og tyskspråklige nettsteder fra katalogen. På populære nettsteder blokkeres treningsboter oftere enn botene som henter sider til AI-søk.
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 million | Nederlandskspråklige | Tyskspråklige |
|---|---|---|---|---|---|
| GPTBot | 12,9 %11,1 %–14,9 % | 10,8 %9,2 %–12,6 % | 12,6 %10,9 %–14,6 % | 3,6 %2,8 %–4,7 % | 3,8 %3 %–5 % |
| ClaudeBot | 12,6 %10,9 %–14,6 % | 9,1 %7,6 %–10,8 % | 12,2 %10,6 %–14,2 % | 3,7 %2,8 %–4,8 % | 3,1 %2,3 %–4,1 % |
| CCBot | 14 %12,2 %–16,1 % | 9,6 %8,1 %–11,4 % | 9,6 %8,1 %–11,3 % | 3,3 %2,5 %–4,3 % | 3,3 %2,5 %–4,3 % |
| Google-Extended | 11,1 %9,4 %–13 % | 7,7 %6,4 %–9,3 % | 11,1 %9,5 %–13 % | 2,9 %2,2 %–3,9 % | 3 %2,2 %–4 % |
| Applebot-Extended | 11,2 %9,6 %–13,1 % | 8,1 %6,7 %–9,7 % | 11,2 %9,6 %–13,1 % | 2,6 %1,9 %–3,6 % | 2,9 %2,2 %–3,9 % |
| meta-externalagent | 10,9 %9,3 %–12,8 % | 8,4 %7 %–10,1 % | 11,2 %9,6 %–13,1 % | 3,1 %2,3 %–4,2 % | 3,6 %2,8 %–4,7 % |
| Bytespider | 13,7 %11,9 %–15,7 % | 9,8 %8,3 %–11,5 % | 9,1 %7,6 %–10,8 % | 4,1 %3,1 %–5,2 % | 3,6 %2,8 %–4,7 % |
| Amazonbot | 10,8 %9,1 %–12,6 % | 8,1 %6,7 %–9,7 % | 12,1 %10,4 %–14 % | 3,8 %2,9 %–4,9 % | 3 %2,2 %–4 % |
| Nettsteder talt med (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 million | Nederlandskspråklige | Tyskspråklige |
|---|---|---|---|---|---|
| OAI-SearchBot | 7,4 %6,1 %–9 % | 4,7 %3,7 %–6 % | 8,4 %7 %–10 % | 2,6 %1,9 %–3,6 % | 2,4 %1,8 %–3,4 % |
| ChatGPT-User | 8,5 %7 %–10,2 % | 6,6 %5,4 %–8,1 % | 9,6 %8,1 %–11,4 % | 3 %2,2 %–4 % | 2,8 %2,1 %–3,8 % |
| Claude-SearchBot | 6,8 %5,5 %–8,3 % | 4,5 %3,5 %–5,8 % | 8,3 %6,9 %–9,9 % | 2,6 %1,9 %–3,5 % | 2,4 %1,8 %–3,4 % |
| Claude-User | 6,7 %5,4 %–8,2 % | 4,6 %3,6 %–5,9 % | 8,3 %6,9 %–9,9 % | 2,4 %1,7 %–3,4 % | 2,4 %1,7 %–3,3 % |
| PerplexityBot | 9,9 %8,3 %–11,7 % | 5,5 %4,4 %–6,9 % | 9,3 %7,8 %–11 % | 2,8 %2 %–3,8 % | 2,7 %1,9 %–3,6 % |
| Perplexity-User | 7,3 %6 %–8,9 % | 4,3 %3,3 %–5,5 % | 8,1 %6,8 %–9,8 % | 2,6 %1,9 %–3,5 % | 2,6 %1,9 %–3,5 % |
| Nettsteder talt med (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 million | Nederlandskspråklige | Tyskspråklige |
|---|---|---|---|---|---|
| Googlebot | 3,6 %2,7 %–4,8 % | 2,4 %1,7 %–3,4 % | 3,6 %2,7 %–4,8 % | 1,8 %1,2 %–2,6 % | 2,2 %1,5 %–3,1 % |
| bingbot | 3,9 %3 %–5,1 % | 3,3 %2,5 %–4,4 % | 4,5 %3,5 %–5,8 % | 2,4 %1,7 %–3,3 % | 2,4 %1,8 %–3,4 % |
| Nettsteder talt med (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
Under hver andel står intervallet: med 95 % sikkerhet ligger den virkelige andelen mellom de to tallene. Kolonne 1-3 er populære nettsteder etter plassering på Tranco-listen, kolonne 4-5 nederlandsk- og tyskspråklige nettsteder fra nettkatalogen Curlie.
Slik sier nettsteder nei
Av nettstedene i topp 10 000 som holder GPTBot ute, bruker 69 % en regel som nevner GPTBot ved navn. For 22,2 % er det bare regelen for alle boter som gjør det, kanskje uten at eieren noen gang tenkte på AI. For 8,9 % gir robots.txt en serverfeil, og det teller som full blokkering.
Dette betyr noe når man teller. En sjekk som bare ser etter navnet på en bot, overser den andre gruppen. En tidligere side hos oss bygde nettopp på en slik sjekk, så vi tok den ned og målte på nytt.
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 million | Nederlandskspråklige | Tyskspråklige |
|---|---|---|---|---|---|
| En regel som nevner GPTBot | 8,9 %7,4 %–10,6 % | 7,6 %6,2 %–9,1 % | 5,4 %4,3 %–6,8 % | 1,4 %0,9 %–2,2 % | 1,6 %1,1 %–2,4 % |
| Bare regelen for alle boter (*) | 2,9 %2,1 %–3,9 % | 2,2 %1,5 %–3,2 % | 5,7 %4,5 %–7,1 % | 1,3 %0,8 %–2 % | 1,3 %0,9 %–2,1 % |
| robots.txt gir en serverfeil | 1,1 %0,7 %–1,9 % | 1 %0,6 %–1,7 % | 1,6 %1 %–2,4 % | 0,9 %0,5 %–1,6 % | 0,9 %0,5 %–1,5 % |
| Nettsteder talt med (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
Treningsboter mot søkeboter
OpenAI bruker to boter. GPTBot samler innhold til trening, OAI-SearchBot finner sider til ChatGPT-søk. Av nettstedene i topp 10 000 som blokkerer GPTBot, slipper 42,4 % fortsatt OAI-SearchBot inn.
Den andelen tar også med nettsteder der robots.txt ga en feil, og de holder også OAI-SearchBot ute. Av nettstedene med en regel mot GPTBot slipper 46,5 % OAI-SearchBot inn (utforskende).
Det ser ut som et bevisst valg. Ifølge OpenAI vises ikke nettsteder som blokkerer OAI-SearchBot i ChatGPTs søkesvar, mens det å bare blokkere GPTBot ikke har den effekten.
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 million | Nederlandskspråklige | Tyskspråklige |
|---|---|---|---|---|---|
| Blokkerer minst én AI-bot | 17,2 %15,2 %–19,4 % | 13,3 %11,5 %–15,3 % | 15,5 %13,6 %–17,6 % | 5,2 %4,2 %–6,5 % | 4,4 %3,5 %–5,6 % |
| Blokkerer alle AI-botene på listen vår | 4,3 %3,3 %–5,6 % | 3,1 %2,3 %–4,2 % | 4 %3,1 %–5,3 % | 2,3 %1,6 %–3,2 % | 2,2 %1,6 %–3,1 % |
| Nettsteder talt med (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 million | Nederlandskspråklige | Tyskspråklige |
|---|---|---|---|---|---|
| Slipper fortsatt OAI-SearchBot inn | 42,4 %35 %–50,2 % | 56,2 %47,8 %–64,2 % | 33,8 %26,9 %–41,4 % | 29,4 %18,7 %–43 % | 36,4 %24,9 %–49,6 % |
| Nettsteder som blokkerer GPTBot (n) | 158 | 137 | 160 | 51 | 55 |
llms.txt: hvem har en?
En llms.txt-fil er et kort sammendrag av et nettsted for AI-verktøy, skrevet i Markdown. Det er et forslag, ikke en standard. Google sier at Google Søk ignorerer den. Les mer i veiledningen vår om llms.txt, eller sjekk din egen fil med llms.txt-sjekkeren vår.
13,4 % av nettstedene i topp 10 000 har en tekstfil på /llms.txt. Se opp for etterligninger: 13,2 % svarer med en vanlig nettside. Av tekstfilene består 83,8 % den grunnleggende llms.txt-sjekken i Chrome Lighthouse.
| llms.txt | Topp 10 000 | 10 001–100 000 | 100 001–1 million | Nederlandskspråklige | Tyskspråklige |
|---|---|---|---|---|---|
| Har en tekstfil på /llms.txt | 13,4 %11,6 %–15,5 % | 12,4 %10,6 %–14,4 % | 13,5 %11,7 %–15,6 % | 5,8 %4,7 %–7,2 % | 7,4 %6,1 %–8,9 % |
| Har en tekstfil som består Lighthouse-sjekken | 11,2 %9,5 %–13,2 % | 10,6 %9 %–12,5 % | 11,4 %9,7 %–13,4 % | 5,4 %4,4 %–6,8 % | 7 %5,8 %–8,5 % |
| Gir en nettside (ikke en ekte fil) | 13,2 %11,3 %–15,2 % | 13,5 %11,6 %–15,5 % | 13,9 %12,1 %–16,1 % | 12,7 %11,1 %–14,6 % | 9,6 %8,2 %–11,3 % |
| Nettsteder som svarte (n) | 1 148 | 1 196 | 1 147 | 1 360 | 1 375 |
| llms.txt | Topp 10 000 | 10 001–100 000 | 100 001–1 million | Nederlandskspråklige | Tyskspråklige |
|---|---|---|---|---|---|
| Består llms.txt-sjekken i Chrome Lighthouse | 83,8 %77,1 %–88,8 % | 85,8 %79,3 %–90,5 % | 84,5 %78 %–89,4 % | 93,7 %86 %–97,3 % | 94,1 %87,8 %–97,3 % |
| Følger llmstxt.org-formatet uten feil | 49,4 %41,6 %–57,2 % | 48,6 %40,7 %–56,6 % | 27,7 %21,3 %–35,3 % | 54,4 %43,5 %–65 % | 55,9 %46,2 %–65,1 % |
| Nettsteder med en tekstfil (n) | 154 | 148 | 155 | 79 | 102 |
De fleste filene som bryter llmstxt.org-formatet, lister sider uten lenke eller begynner ikke med en tittellinje. Noen "filer" er bare en feilmelding eller ordet ok.
Andre studier kommer til andre tall fordi de teller annerledes. Web Almanac 2025 fant en gyldig llms.txt på rundt 2,1 % av alle nettstedene den crawler. Ahrefs (leverandørdata) talte 28 % av 137 210 domener fra sine egne analysekunder, etter eget utsagn en øvre grense, og så at 97 % av filene ikke fikk en eneste forespørsel i mai 2026. SE Ranking (leverandørdata) fant en llms.txt på 10 % av rundt 300 000 domener.
Hva dette ikke beviser
- robots.txt er en forespørsel, ikke en lås. Mange nettsteder stopper også boter med en brannmur eller en innstilling i CDN-et. Vi leser bare det som står i filen.
- Vi er ikke GPTBot. Et nettsted kan svare AI-boter annerledes enn boten vår, og noen nettsteder blokkerer ukjente boter helt.
- Vi sjekket bare tilgangen til forsiden. Et nettsted kan tillate forsiden og blokkere alt annet.
- Dette er et øyeblikksbilde fra én dag. Det viser ingen trend. Nettsteder endrer filene sine hele tiden.
- Det sier ingenting om hvorvidt blokkering (eller en llms.txt) endrer hvor ofte AI-verktøy viser eller siterer et nettsted.
Slik gjorde vi det
Vi trakk tilfeldig 1 500 nettsteder fra hver av fem grupper: tre plasseringsintervaller på Tranco-listen 467YX over populære nettsteder (plass 1-10 000, 10 001-100 000 og 100 001-1 000 000), pluss de nederlandsk- og tyskspråklige delene av nettkatalogen Curlie (47 502 og 309 045 nettsteder oppført med forsiden sin). Med et fast startpunkt for tilfeldigheten trekker alle med de samme to filene nøyaktig de samme nettstedene.
Én datamaskin i Nederland, på en vanlig hjemmeforbindelse, besøkte alle nettstedene på rundt 25 minutter. Den presenterte seg ærlig som GEOScoreBot/1.0 (+https://geo-score.online), tok pauser mellom forespørsler til samme nettsted og hentet bare det robots.txt tillot.
Vi leste hver robots.txt med RFC 9309-parseren vår, den samme som ligger bak AI-crawler-sjekkeren vår. En gruppe med botens eget navn går foran regelen for alle boter. Ingen robots.txt (et 4xx-svar) betyr at alle boter får komme. En serverfeil (5xx) betyr at ingen boter får komme. RFC 9309 regner 429 (for mange forespørsler) blant 4xx-svarene, så boter får komme, men Google og Lighthouse leser det som et nei, og det gjør vi også. Nettsteder som ikke svarte i det hele tatt (ingen DNS eller ingen tilkobling), er holdt utenfor andelene. Ifølge standarden skal boter da også holde seg helt unna, men en slik feil sier ingenting om hva nettstedet vil.
Tallene øverst på siden teller bare regler i robots.txt: en regel som nevner boten, eller regelen for alle boter. Den oppdelingen la vi til etter at vi hadde registrert metoden vår, så den er utforskende. Tabellene holder seg til det registrerte målet, som også teller en feil som en blokkering.
Vi skrev ned spørsmålene, utvalget og hvert mål før crawlingen startet, og lagret planen. Alt vi bestemte etter å ha sett dataene, er merket som utforskende.
| Steg | Topp 10 000 | 10 001–100 000 | 100 001–1 million | Nederlandskspråklige | Tyskspråklige |
|---|---|---|---|---|---|
| Trukne nettsteder | 1 500 | 1 500 | 1 500 | 1 500 | 1 500 |
| Ikke noe svar (ikke noe nettsted, DNS- eller tilkoblingsfeil) | 273 | 230 | 234 | 97 | 70 |
| robots.txt svarte: telles med i andelene | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| … en ekte robots.txt-fil | 897 | 913 | 898 | 1 012 | 1 014 |
| … en nettside i stedet for en robots.txt-fil | 91 | 84 | 87 | 115 | 80 |
| … ingen robots.txt (4xx) | 225 | 260 | 261 | 263 | 323 |
| … serverfeil (429 eller 5xx) | 14 | 13 | 20 | 13 | 13 |
| Forsiden åpnet seg normalt for boten vår | 922 | 1 017 | 983 | 1 311 | 1 350 |
| Forsiden avviste boten vår (401, 403 eller 429) | 175 | 147 | 113 | 35 | 16 |
| Forsiden ga et annet svar eller feilet | 68 | 59 | 73 | 25 | 29 |
| Forsiden ikke besøkt: robots.txt sa nei til oss | 62 | 47 | 97 | 32 | 35 |
En forside som avviser boten vår, er botbeskyttelse, ikke en robots.txt-regel. Det teller vi aldri som "blokkerer AI".
RFC 9309, standarden for robots.txtAndre studier av samme spørsmål
Web Almanac 2025 (HTTP Archive) fant GPTBot nevnt ved navn i robots.txt på 4,5 % av nettstedene på desktop, på tvers av millioner av nettsteder. I vårt utvalg fra topp 10 000 nevner 12,6 % av filene GPTBot. Å nevne en bot er ikke det samme som å blokkere den: noen filer nevner en bot for å tillate den.
Cloudflare Radar sjekker hver uke robots.txt hos de 10 000 mest populære domenene og teller regler som nevner hver AI-bot ved navn (leverandørdata). Vi teller også regelen for alle boter og serverfeil, og vi ser lenger enn topp 10 000.
En studie fra 2024 av Longpre og andre, Consent in Crisis, fulgte rundt 14 000 domener bak store datasett for AI-trening. Den viste at begrensningene for AI-crawlere økte kraftig i 2023 og 2024.
Sjekk ditt eget nettsted
Dette er gjennomsnitt. Ditt eget nettsted er enten med eller ikke. De gratis verktøyene våre sjekker det på sekunder.
Last ned dataene
Hvert tall på denne siden står i CSV-filen, én linje per tall, med antall, grunnlag og 95 %-intervall. Den inneholder bare totaler, ingen navn på nettsteder.
Last ned tallene (CSV)Du kan bruke tallene på nytt under lisensen CC BY 4.0. Nevn GEO-Score og lenk til denne siden.
Kilder til nettstedlistene
Populære nettsteder: Tranco-listen 467YX (Le Pochat mfl., NDSS 2019).
Nederlandsk- og tyskspråklige nettsteder: med innhold fra Curlie.org - den største menneskeredigerte nettkatalogen. Bidra ved å sende inn et nettsted eller bli redaktør. Curlie-data er lisensiert under CC BY 3.0.
20. oktober 2026: første måling publisert.