Egen forskning
Hur många webbplatser blockerar AI-crawlers?
Den 20 oktober 2026 hade 11,7 % av de 10 000 mest populära webbplatserna en regel i robots.txt som håller OpenAIs träningsbot GPTBot borta från startsidan. Färre gjorde det för boten bakom ChatGPT-sökning: 6,3 % hade en regel mot OAI-SearchBot. Ytterligare 1,1 % svarade med ett fel i stället för en robots.txt. Det är snarare ett serverproblem än ett val, men det håller också botar ute.
Uppmätt 20 oktober 2026
- av topp 10 000 har en robots.txt-regel mot GPTBot
- 11,7 %
- har en regel mot OAI-SearchBot (ChatGPT-sökning)
- 6,3 %
- har en textfil på /llms.txt
- 13,4 %
Vad vi testade
Nästan varje webbplats har en liten fil som heter robots.txt. Den talar om för botar vilka sidor de får besöka. AI-företagen säger att deras botar läser den, så det är det viktigaste sättet för en webbplats att säga ja eller nej till dem.
Vi hämtade filen från varje webbplats i urvalet och läste den så som den officiella standarden (RFC 9309) säger att botar ska. För varje AI-bot ställde vi en fråga: får den öppna startsidan?
En fil kan säga nej på två sätt: med en regel som nämner boten vid namn, eller med en regel för alla botar (User-agent: *). Och om själva filen ger ett serverfel säger standarden att botar ska hålla sig helt borta. Vi räknar alla tre och visar dem var för sig.
Vilka AI-botar som blockeras, och var
Varje tabell visar för varje bot andelen webbplatser vars robots.txt håller den borta från startsidan. Populära webbplatser blockerar AI-botar ungefär tre gånger så ofta som nederländsk- och tyskspråkiga webbplatser från katalogen. På populära webbplatser blockeras träningsbotar oftare än botarna som hämtar sidor till AI-sökning.
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 miljon | Nederländskspråkiga | Tyskspråkiga |
|---|---|---|---|---|---|
| GPTBot | 12,9 %11,1 %–14,9 % | 10,8 %9,2 %–12,6 % | 12,6 %10,9 %–14,6 % | 3,6 %2,8 %–4,7 % | 3,8 %3 %–5 % |
| ClaudeBot | 12,6 %10,9 %–14,6 % | 9,1 %7,6 %–10,8 % | 12,2 %10,6 %–14,2 % | 3,7 %2,8 %–4,8 % | 3,1 %2,3 %–4,1 % |
| CCBot | 14 %12,2 %–16,1 % | 9,6 %8,1 %–11,4 % | 9,6 %8,1 %–11,3 % | 3,3 %2,5 %–4,3 % | 3,3 %2,5 %–4,3 % |
| Google-Extended | 11,1 %9,4 %–13 % | 7,7 %6,4 %–9,3 % | 11,1 %9,5 %–13 % | 2,9 %2,2 %–3,9 % | 3 %2,2 %–4 % |
| Applebot-Extended | 11,2 %9,6 %–13,1 % | 8,1 %6,7 %–9,7 % | 11,2 %9,6 %–13,1 % | 2,6 %1,9 %–3,6 % | 2,9 %2,2 %–3,9 % |
| meta-externalagent | 10,9 %9,3 %–12,8 % | 8,4 %7 %–10,1 % | 11,2 %9,6 %–13,1 % | 3,1 %2,3 %–4,2 % | 3,6 %2,8 %–4,7 % |
| Bytespider | 13,7 %11,9 %–15,7 % | 9,8 %8,3 %–11,5 % | 9,1 %7,6 %–10,8 % | 4,1 %3,1 %–5,2 % | 3,6 %2,8 %–4,7 % |
| Amazonbot | 10,8 %9,1 %–12,6 % | 8,1 %6,7 %–9,7 % | 12,1 %10,4 %–14 % | 3,8 %2,9 %–4,9 % | 3 %2,2 %–4 % |
| Webbplatser som räknats (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 miljon | Nederländskspråkiga | Tyskspråkiga |
|---|---|---|---|---|---|
| OAI-SearchBot | 7,4 %6,1 %–9 % | 4,7 %3,7 %–6 % | 8,4 %7 %–10 % | 2,6 %1,9 %–3,6 % | 2,4 %1,8 %–3,4 % |
| ChatGPT-User | 8,5 %7 %–10,2 % | 6,6 %5,4 %–8,1 % | 9,6 %8,1 %–11,4 % | 3 %2,2 %–4 % | 2,8 %2,1 %–3,8 % |
| Claude-SearchBot | 6,8 %5,5 %–8,3 % | 4,5 %3,5 %–5,8 % | 8,3 %6,9 %–9,9 % | 2,6 %1,9 %–3,5 % | 2,4 %1,8 %–3,4 % |
| Claude-User | 6,7 %5,4 %–8,2 % | 4,6 %3,6 %–5,9 % | 8,3 %6,9 %–9,9 % | 2,4 %1,7 %–3,4 % | 2,4 %1,7 %–3,3 % |
| PerplexityBot | 9,9 %8,3 %–11,7 % | 5,5 %4,4 %–6,9 % | 9,3 %7,8 %–11 % | 2,8 %2 %–3,8 % | 2,7 %1,9 %–3,6 % |
| Perplexity-User | 7,3 %6 %–8,9 % | 4,3 %3,3 %–5,5 % | 8,1 %6,8 %–9,8 % | 2,6 %1,9 %–3,5 % | 2,6 %1,9 %–3,5 % |
| Webbplatser som räknats (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 miljon | Nederländskspråkiga | Tyskspråkiga |
|---|---|---|---|---|---|
| Googlebot | 3,6 %2,7 %–4,8 % | 2,4 %1,7 %–3,4 % | 3,6 %2,7 %–4,8 % | 1,8 %1,2 %–2,6 % | 2,2 %1,5 %–3,1 % |
| bingbot | 3,9 %3 %–5,1 % | 3,3 %2,5 %–4,4 % | 4,5 %3,5 %–5,8 % | 2,4 %1,7 %–3,3 % | 2,4 %1,8 %–3,4 % |
| Webbplatser som räknats (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
Under varje andel står dess intervall: med 95 % säkerhet ligger den verkliga andelen mellan de två talen. Kolumn 1-3 är populära webbplatser efter placering på Tranco-listan, kolumn 4-5 nederländsk- och tyskspråkiga webbplatser från webbkatalogen Curlie.
Så säger webbplatser nej
Av webbplatserna i topp 10 000 som stänger ute GPTBot använder 69 % en regel som nämner GPTBot vid namn. För 22,2 % är det bara regeln för alla botar som gör det, kanske utan att ägaren någonsin tänkt på AI. För 8,9 % ger robots.txt ett serverfel, och det räknas som full blockering.
Det här spelar roll när man räknar. En kontroll som bara letar efter en bots namn missar den andra gruppen. En tidigare sida hos oss byggde just på en sådan kontroll, så vi tog ner den och mätte igen.
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 miljon | Nederländskspråkiga | Tyskspråkiga |
|---|---|---|---|---|---|
| En regel som nämner GPTBot | 8,9 %7,4 %–10,6 % | 7,6 %6,2 %–9,1 % | 5,4 %4,3 %–6,8 % | 1,4 %0,9 %–2,2 % | 1,6 %1,1 %–2,4 % |
| Bara regeln för alla botar (*) | 2,9 %2,1 %–3,9 % | 2,2 %1,5 %–3,2 % | 5,7 %4,5 %–7,1 % | 1,3 %0,8 %–2 % | 1,3 %0,9 %–2,1 % |
| robots.txt ger ett serverfel | 1,1 %0,7 %–1,9 % | 1 %0,6 %–1,7 % | 1,6 %1 %–2,4 % | 0,9 %0,5 %–1,6 % | 0,9 %0,5 %–1,5 % |
| Webbplatser som räknats (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
Träningsbotar mot sökbotar
OpenAI använder två botar. GPTBot samlar innehåll för träning, OAI-SearchBot hittar sidor till ChatGPT-sökning. Av webbplatserna i topp 10 000 som blockerar GPTBot släpper 42,4 % fortfarande in OAI-SearchBot.
Den andelen räknar också med webbplatser där robots.txt gav ett fel, och de håller också OAI-SearchBot ute. Av webbplatserna med en regel mot GPTBot släpper 46,5 % in OAI-SearchBot (utforskande).
Det ser ut som ett medvetet val. Enligt OpenAI visas webbplatser som blockerar OAI-SearchBot inte i ChatGPT:s söksvar, medan det inte har den effekten att bara blockera GPTBot.
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 miljon | Nederländskspråkiga | Tyskspråkiga |
|---|---|---|---|---|---|
| Blockerar minst en AI-bot | 17,2 %15,2 %–19,4 % | 13,3 %11,5 %–15,3 % | 15,5 %13,6 %–17,6 % | 5,2 %4,2 %–6,5 % | 4,4 %3,5 %–5,6 % |
| Blockerar alla AI-botar på vår lista | 4,3 %3,3 %–5,6 % | 3,1 %2,3 %–4,2 % | 4 %3,1 %–5,3 % | 2,3 %1,6 %–3,2 % | 2,2 %1,6 %–3,1 % |
| Webbplatser som räknats (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Bot | Topp 10 000 | 10 001–100 000 | 100 001–1 miljon | Nederländskspråkiga | Tyskspråkiga |
|---|---|---|---|---|---|
| Släpper fortfarande in OAI-SearchBot | 42,4 %35 %–50,2 % | 56,2 %47,8 %–64,2 % | 33,8 %26,9 %–41,4 % | 29,4 %18,7 %–43 % | 36,4 %24,9 %–49,6 % |
| Webbplatser som blockerar GPTBot (n) | 158 | 137 | 160 | 51 | 55 |
llms.txt: vem har en?
En llms.txt-fil är en kort sammanfattning av en webbplats för AI-verktyg, skriven i Markdown. Det är ett förslag, inte en standard. Google säger att Google Sök ignorerar den. Läs mer i vår guide om llms.txt, eller kolla din egen fil med vår llms.txt-kontroll.
13,4 % av webbplatserna i topp 10 000 har en textfil på /llms.txt. Se upp för efterapningar: 13,2 % svarar med en vanlig webbsida. Av textfilerna klarar 83,8 % grundkontrollen av llms.txt i Chrome Lighthouse.
| llms.txt | Topp 10 000 | 10 001–100 000 | 100 001–1 miljon | Nederländskspråkiga | Tyskspråkiga |
|---|---|---|---|---|---|
| Har en textfil på /llms.txt | 13,4 %11,6 %–15,5 % | 12,4 %10,6 %–14,4 % | 13,5 %11,7 %–15,6 % | 5,8 %4,7 %–7,2 % | 7,4 %6,1 %–8,9 % |
| Har en textfil som klarar Lighthouse-kontrollen | 11,2 %9,5 %–13,2 % | 10,6 %9 %–12,5 % | 11,4 %9,7 %–13,4 % | 5,4 %4,4 %–6,8 % | 7 %5,8 %–8,5 % |
| Ger en webbsida (inte en riktig fil) | 13,2 %11,3 %–15,2 % | 13,5 %11,6 %–15,5 % | 13,9 %12,1 %–16,1 % | 12,7 %11,1 %–14,6 % | 9,6 %8,2 %–11,3 % |
| Webbplatser som svarade (n) | 1 148 | 1 196 | 1 147 | 1 360 | 1 375 |
| llms.txt | Topp 10 000 | 10 001–100 000 | 100 001–1 miljon | Nederländskspråkiga | Tyskspråkiga |
|---|---|---|---|---|---|
| Klarar llms.txt-kontrollen i Chrome Lighthouse | 83,8 %77,1 %–88,8 % | 85,8 %79,3 %–90,5 % | 84,5 %78 %–89,4 % | 93,7 %86 %–97,3 % | 94,1 %87,8 %–97,3 % |
| Följer llmstxt.org-formatet utan fel | 49,4 %41,6 %–57,2 % | 48,6 %40,7 %–56,6 % | 27,7 %21,3 %–35,3 % | 54,4 %43,5 %–65 % | 55,9 %46,2 %–65,1 % |
| Webbplatser med en textfil (n) | 154 | 148 | 155 | 79 | 102 |
De flesta filer som bryter mot llmstxt.org-formatet listar sidor utan länk eller börjar inte med en titelrad. Vissa "filer" är bara ett felmeddelande eller ordet ok.
Andra studier kommer fram till andra siffror eftersom de räknar på andra sätt. Web Almanac 2025 hittade en giltig llms.txt på ungefär 2,1 % av alla webbplatser den crawlar. Ahrefs (leverantörsdata) räknade 28 % av 137 210 domäner från sina egna analyskunder, enligt egen utsago en övre gräns, och såg att 97 % av filerna inte fick en enda förfrågan i maj 2026. SE Ranking (leverantörsdata) hittade en llms.txt på 10 % av ungefär 300 000 domäner.
Vad det här inte bevisar
- robots.txt är en begäran, inte ett lås. Många webbplatser stoppar också botar med en brandvägg eller en inställning i sitt CDN. Vi läser bara det som står i filen.
- Vi är inte GPTBot. En webbplats kan svara AI-botar annorlunda än vår bot, och vissa webbplatser blockerar okända botar helt.
- Vi kontrollerade bara åtkomsten till startsidan. En webbplats kan tillåta startsidan och blockera allt annat.
- Det här är en ögonblicksbild från en enda dag. Den visar ingen trend. Webbplatser ändrar sina filer hela tiden.
- Den säger inget om huruvida blockering (eller en llms.txt) ändrar hur ofta AI-verktyg visar eller citerar en webbplats.
Så gjorde vi
Vi drog slumpmässigt 1 500 webbplatser från var och en av fem grupper: tre placeringsintervall på Tranco-listan 467YX över populära webbplatser (plats 1-10 000, 10 001-100 000 och 100 001-1 000 000), plus de nederländsk- och tyskspråkiga delarna av webbkatalogen Curlie (47 502 och 309 045 webbplatser listade med sin startsida). Med ett fast startvärde för slumpen drar alla med samma två filer exakt samma webbplatser.
En enda dator i Nederländerna, på en vanlig hemuppkoppling, besökte alla webbplatser på ungefär 25 minuter. Den presenterade sig ärligt som GEOScoreBot/1.0 (+https://geo-score.online), pausade mellan förfrågningar till samma webbplats och hämtade bara det som robots.txt tillät.
Vi läste varje robots.txt med vår RFC 9309-tolk, samma som finns bakom vår kontroll av AI-crawlers. En grupp med botens eget namn går före regeln för alla botar. Ingen robots.txt alls (ett 4xx-svar) betyder att alla botar får komma. Ett serverfel (5xx) betyder att ingen bot får komma. RFC 9309 räknar 429 (för många förfrågningar) till 4xx-svaren, så botar får komma, men Google och Lighthouse läser det som ett nej, och det gör vi också. Webbplatser som inte svarade alls (ingen DNS eller ingen anslutning) ingår inte i andelarna. Enligt standarden ska botar då också hålla sig helt borta, men ett sådant fel säger inget om vad webbplatsen vill.
Siffrorna högst upp på sidan räknar bara regler i robots.txt: en regel som nämner boten, eller regeln för alla botar. Den uppdelningen lade vi till efter att vi hade registrerat vår metod, så den är utforskande. Tabellerna håller fast vid det registrerade måttet, som också räknar ett fel som en blockering.
Vi skrev ner frågorna, urvalet och varje mått innan crawlen började och sparade planen. Allt vi bestämde efter att ha sett data är markerat som utforskande.
| Steg | Topp 10 000 | 10 001–100 000 | 100 001–1 miljon | Nederländskspråkiga | Tyskspråkiga |
|---|---|---|---|---|---|
| Dragna webbplatser | 1 500 | 1 500 | 1 500 | 1 500 | 1 500 |
| Inget svar alls (ingen webbplats, DNS- eller anslutningsfel) | 273 | 230 | 234 | 97 | 70 |
| robots.txt svarade: räknas i andelarna | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| … en riktig robots.txt-fil | 897 | 913 | 898 | 1 012 | 1 014 |
| … en webbsida i stället för en robots.txt-fil | 91 | 84 | 87 | 115 | 80 |
| … ingen robots.txt (4xx) | 225 | 260 | 261 | 263 | 323 |
| … serverfel (429 eller 5xx) | 14 | 13 | 20 | 13 | 13 |
| Startsidan öppnades normalt för vår bot | 922 | 1 017 | 983 | 1 311 | 1 350 |
| Startsidan nekade vår bot (401, 403 eller 429) | 175 | 147 | 113 | 35 | 16 |
| Startsidan gav ett annat svar eller misslyckades | 68 | 59 | 73 | 25 | 29 |
| Startsidan inte besökt: robots.txt sa nej till oss | 62 | 47 | 97 | 32 | 35 |
En startsida som nekar vår bot är botskydd, inte en robots.txt-regel. Det räknar vi aldrig som "blockerar AI".
RFC 9309, standarden för robots.txtAndra studier av samma fråga
Web Almanac 2025 (HTTP Archive) hittade GPTBot nämnd vid namn i robots.txt på 4,5 % av webbplatserna på desktop, bland miljontals webbplatser. I vårt urval av topp 10 000 nämner 12,6 % av filerna GPTBot. Att nämna en bot är inte samma sak som att blockera den: vissa filer nämner en bot för att tillåta den.
Cloudflare Radar kontrollerar varje vecka robots.txt hos de 10 000 mest populära domänerna och räknar regler som nämner varje AI-bot vid namn (leverantörsdata). Vi räknar också regeln för alla botar och serverfel, och vi tittar bortom topp 10 000.
En studie från 2024 av Longpre med flera, Consent in Crisis, följde ungefär 14 000 domäner bakom stora dataset för AI-träning. Den visade att begränsningarna för AI-crawlers ökade kraftigt under 2023 och 2024.
Kolla din egen webbplats
Det här är genomsnitt. Din egen webbplats är antingen med eller inte. Våra gratisverktyg kollar det på några sekunder.
Ladda ner data
Varje tal på den här sidan finns i CSV-filen, en rad per tal, med antal, bas och 95 %-intervall. Den innehåller bara summor, inga namn på webbplatser.
Ladda ner siffrorna (CSV)Du får återanvända siffrorna under licensen CC BY 4.0. Nämn GEO-Score och länka till den här sidan.
Källor till webbplatslistorna
Populära webbplatser: Tranco-listan 467YX (Le Pochat m.fl., NDSS 2019).
Nederländsk- och tyskspråkiga webbplatser: med innehåll från Curlie.org - den största människoredigerade webbkatalogen. Bidra genom att föreslå en webbplats eller bli redaktör. Curlie-data är licensierad under CC BY 3.0.
20 oktober 2026: första mätningen publicerad.