Should I block GPTBot to protect my content from AI training?

For most sites, no. Originality.ai found 35.7% of the top 1,000 sites block GPTBot, but a Hack/Hackers analysis showed major publishers who blocked AI bots subsequently lost roughly 23% of their traffic. Unless you have a multi-million-dollar licensing deal (NYT-Amazon, News Corp-OpenAI) or your business model depends on closed expertise, blocking removes your only path into AI search results — which is increasingly where customers are starting their journeys. The default for non-publishers should be Allow.

What is the impact of allowing AI bots on my GEO-Score?

Allowing AI bots is the prerequisite for every other GEO metric. The analyzer treats bot access as a gating factor: if AI crawlers cannot reach your pages, your scores for citations, schema, content structure, and freshness all become academic. Sites that switch from blocking to allowing typically see AI-driven traffic appear within 2-6 weeks, depending on how often each bot recrawls. The change has no negative SEO impact because Googlebot and Google-Extended are independent — blocking one does not affect the other.

What is the difference between GPTBot, ChatGPT-User, and OAI-SearchBot?

OpenAI uses three crawlers for distinct purposes. GPTBot crawls broadly to gather training data for future model versions. OAI-SearchBot indexes pages for ChatGPT's built-in search feature, which surfaces results in real-time during conversations. ChatGPT-User is triggered when an individual ChatGPT user asks the model to fetch a specific URL or browse a topic. To be fully visible in OpenAI's ecosystem you should allow all three — blocking GPTBot only stops training-data inclusion, not live citations.

Does blocking Google-Extended affect my Google Search rankings?

No. Google's official documentation states that Google-Extended is a separate token from Googlebot, and blocking it has no impact on search rankings, indexation, or visibility. Google-Extended controls only whether your content can be used to train Gemini and to ground Google AI Overviews answers. Many publishers block Google-Extended to limit training-data use while keeping full Search presence — though this also reduces the chance of being cited inside AI Overviews.

Why are AI bots crawling my site so much without sending traffic back?

This is the crawl-to-referral gap. Cloudflare's 2025 analysis found Anthropic's ratio peaked near 500,000:1 (500,000 page fetches per human referral) before settling at 25,000:1 to 100,000:1, while OpenAI's GPTBot ratio sat around 1,200-3,700:1. The imbalance is real, but the alternative — blocking — eliminates the small but growing referral stream entirely and removes you from the answers users see, even when those answers do not click through. For most sites the best response is to allow access while ensuring crawl efficiency (fast responses, accurate sitemaps) rather than block.

Should I implement an llms.txt file alongside robots.txt?

Not as a substitute for robots.txt. The llms.txt proposal from Jeremy Howard (September 2024) is an interesting standard for guiding AI to high-value resources, but as of late 2025 no major AI crawler — OpenAI, Anthropic, Google, Perplexity — has confirmed they read or follow llms.txt. An audit of server logs across hundreds of sites in October 2025 found zero LLM crawlers requesting llms.txt files. It costs little to add as a future-proofing measure, but every access decision today still depends on robots.txt, server response codes, and CDN/WAF configuration.

AI-bot-adgang: 5,6 mio. sites blokerer GPTBot

Hvad er AI-bot-adgang?

AI-bot-adgang måler, om AI-crawlere — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot, ChatGPT-User og andre — faktisk kan nå og læse dine sider. Tjekket ser på fire lag: robots.txt-direktiver, server-responskoder, IP-baseret blokering fra CDN'er og WAF'er, og om indhold er låst bag JavaScript eller betalingsmure. Hvert lag kan stille og roligt dræbe AI-synlighed, og mange sites er blokeret på et eller flere uden at vide det.

Denne metrik er portvogteren for hele GEO-Score. En perfekt 100/100 på schema, citater, friskhed og struktur giver præcis nul AI-citater, hvis en enkelt Disallow-linje i robots.txt eller en standard-WAF-regel afviser crawlere. Cloudflare rapporterede i juli 2025, at deres netværk nu blokerer AI-crawlere som standard for nye kunder — hvilket betyder, at en betydelig del af nettet gik mørk for AI fra den ene dag til den anden.

Hvorfor AI-bot-adgang er vigtig

AI-søgning er nu en målbar andel af den samlede webtrafik, men det er også den mest skrøbelige trafikkilde — én forkert konfigureret regel kan slette din tilstedeværelse fra ChatGPT, Claude og Perplexity samtidigt. Tre faktorer forklarer, hvorfor bot-adgang fortjener opmærksomhed før alt andet GEO-arbejde.

Bot-adgang er en binær portvogter

AI-crawlere indekserer ikke et blokeret site delvist — de springer det helt over. Hvis GPTBot, ClaudeBot eller PerplexityBot modtager en 403, en robots.txt Disallow eller en WAF-udfordring, behandles siden som ikke-eksisterende for AI-svar. Der er intet "reduceret synlighed"-resultat: det er fuld citationsberettigelse eller slet ingen.

De fleste blokeringer sker ved et uheld

Originality.ai fandt, at GPTBot nu blokeres af 35,7 % af de top 1.000 websteder, men interviews med site-ejere viser, at mange af disse blokeringer er arvet fra standard-WAF-regelsæt, copy-paste-robots.txt-skabeloner eller CDN-bot-fight-tilstande, der klassificerer GPTBot som en generisk scraper. Få af disse ejere besluttede at blokere AI; de glemte simpelthen at tillade det.

AI-crawlere er aggressive — men selektive

Cloudflare rapporterede, at GPTBot voksede 305 % i rå anmodninger mellem maj 2024 og maj 2025, mens PerplexityBot voksede 157.490 % fra et lille udgangspunkt. Den volumen kommer med et budget: bots prioriterer sites, der svarer hurtigt, returnerer 200'ere og leverer indhold i den indledende HTML. Sites, der intermitterende returnerer 5xx, skjuler indhold bag JavaScript eller rate-limiterer AI-bots, ser citater falde, selv uden en eksplicit blokering.

Hvad forskningen siger

GPTBot increased its share of all crawler traffic from 2.2% to 7.7%, with a 305% rise in raw requests over 12 months — jumping from rank #9 to rank #3 among all web crawlers. PerplexityBot showed the most explosive growth at 157,490% from a minimal baseline. Yet only 14% of analyzed domains had any specific robots.txt directives targeting AI bots — leaving the other 86% silently allowing or blocking AI traffic by accident.

João Tomé, Jorge Pacheco, Carlos Azevedo — From Googlebot to GPTBot: Who's Crawling Your Site in 2025, Cloudflare Blog, July 2025 — analysis of 3,816 top domains

GPTBot is now blocked by 35.7% of the top 1,000 websites, up from just 5% when it was first introduced in August 2023. The percentage of sites blocking GPTBot was increasing by approximately 5% per week in the early stages following the bot's announcement. Many of these blocks were inherited from default templates and CDN rules rather than deliberate policy decisions.

Originality.ai — GPTBot Blocking Tracker, August 2024 update — quarterly study of the Quantcast top 1,000 websites since GPTBot launch

Anthropic's crawl-to-referral ratio peaked near 500,000:1 early in 2025 before settling between 25,000:1 and 100,000:1, while OpenAI's GPTBot ratio spiked to roughly 3,700:1 in March 2025. This imbalance — bots taking far more than they return in human visits — is the main reason publishers are tempted to block, but for any site that is not a major news brand, blocking removes the only path to AI search citations entirely.

Cloudflare Radar — The crawl-to-click gap: AI bots, training, and referrals, 2025 — multi-month analysis of crawler-to-human-referral ratios across the Cloudflare network

Hurtige tips til AI-bot-adgang

Brug altid eksplicitte Allow-regler pr. AI-bot — "User-agent: * / Allow: /" virker tilladende, men signalerer ikke hensigt, og mange WAF'er tilsidesætter det

Tjek dit CDN-dashboard før robots.txt — Cloudflares ændring i juli 2025 blokerer AI-crawlere som standard for nye kunder, uanset hvad din robots.txt siger

Tillad både trænings-bots (GPTBot, ClaudeBot) og søgetids-bots (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) — de tjener forskellige dele af AI-svar-pipelinen

Stol ikke på llms.txt som din primære adgangsmekanisme — pr. sen 2025 læser ingen større AI-crawler den; robots.txt forbliver den eneste universelt respekterede standard

Render kritisk indhold server-side eller via SSG — kun Googlebot udfører pålideligt JavaScript blandt større crawlere, så JS-only-indhold er usynligt for GPTBot, ClaudeBot og PerplexityBot

Stikprøvekontroller dine adgangslogfiler ugentligt for AI-user-agent-strengene — et pludseligt fald til nul er det tidligste signal om en utilsigtet blokering fra en CDN-opdatering eller WAF-regelændring

Bør jeg blokere GPTBot for at beskytte mit indhold mod AI-træning?

▼

For de fleste sites, nej. Originality.ai fandt, at 35,7 % af de top 1.000 sites blokerer GPTBot, men en Hack/Hackers-analyse viste, at store udgivere, der blokerede AI-bots, efterfølgende mistede ca. 23 % af deres trafik. Medmindre du har en aftale om licensering på flere millioner dollars (NYT-Amazon, News Corp-OpenAI), eller din forretningsmodel afhænger af lukket ekspertise, fjerner blokering din eneste vej ind i AI-søgeresultater — som i stigende grad er, hvor kunder begynder deres rejser. Standardindstillingen for ikke-udgivere bør være Allow.

Hvilken indvirkning har det at tillade AI-bots på min GEO-Score?

▼

At tillade AI-bots er forudsætningen for hver anden GEO-metrik. Analysatoren behandler bot-adgang som en gating-faktor: hvis AI-crawlere ikke kan nå dine sider, bliver dine scores for citater, schema, indholdsstruktur og friskhed alle akademiske. Sites, der skifter fra at blokere til at tillade, ser typisk AI-drevet trafik dukke op inden for 2-6 uger, afhængigt af hvor ofte hver bot recrawler. Ændringen har ingen negativ SEO-effekt, fordi Googlebot og Google-Extended er uafhængige — at blokere den ene påvirker ikke den anden.

Hvad er forskellen mellem GPTBot, ChatGPT-User og OAI-SearchBot?

▼

OpenAI bruger tre crawlere til forskellige formål. GPTBot crawler bredt for at indsamle træningsdata til fremtidige modelversioner. OAI-SearchBot indekserer sider til ChatGPT's indbyggede søgefunktion, der viser resultater i realtid under samtaler. ChatGPT-User udløses, når en individuel ChatGPT-bruger beder modellen om at hente en specifik URL eller browse et emne. For at være fuldt synlig i OpenAI's økosystem bør du tillade alle tre — at blokere GPTBot stopper kun trænings-data-inklusion, ikke live-citater.

Påvirker blokering af Google-Extended mine Google Search-placeringer?

▼

Nej. Googles officielle dokumentation angiver, at Google-Extended er et separat token fra Googlebot, og at blokering af det ikke har nogen indvirkning på søgeplaceringer, indeksering eller synlighed. Google-Extended kontrollerer kun, om dit indhold kan bruges til at træne Gemini og til at jorde Google AI Overviews-svar. Mange udgivere blokerer Google-Extended for at begrænse trænings-data-brug, mens de beholder fuld Search-tilstedeværelse — selvom dette også reducerer chancen for at blive citeret inde i AI Overviews.

Hvorfor crawler AI-bots mit site så meget uden at sende trafik tilbage?

▼

Dette er crawl-til-henvisning-gabet. Cloudflares 2025-analyse fandt, at Anthropics forhold toppede nær 500.000:1 (500.000 sidehentninger pr. menneskelig henvisning), før det stabiliserede sig på 25.000:1 til 100.000:1, mens OpenAI's GPTBot-forhold lå omkring 1.200-3.700:1. Ubalancen er reel, men alternativet — blokering — eliminerer den lille, men voksende henvisningsstrøm fuldstændigt og fjerner dig fra de svar, brugere ser, selv når disse svar ikke fører til klik. For de fleste sites er det bedste svar at tillade adgang og samtidig sikre crawl-effektivitet (hurtige svar, præcise sitemaps) i stedet for at blokere.

Bør jeg implementere en llms.txt-fil sammen med robots.txt?

▼

Ikke som erstatning for robots.txt. llms.txt-forslaget fra Jeremy Howard (september 2024) er en interessant standard for at guide AI til værdifulde ressourcer, men pr. sen 2025 har ingen større AI-crawler — OpenAI, Anthropic, Google, Perplexity — bekræftet, at de læser eller følger llms.txt. En audit af serverlogfiler på tværs af hundredvis af sites i oktober 2025 fandt nul LLM-crawlere, der anmodede om llms.txt-filer. Det koster lidt at tilføje den som en fremtidssikringsforanstaltning, men hver adgangsbeslutning i dag afhænger stadig af robots.txt, server-responskoder og CDN/WAF-konfiguration.

Relaterede metrikker at udforske

Sidehastighed

Langsomme svar får AI-crawlere til at udløbe — sidehastighed forvandler adgang fra "tilladt" til "faktisk crawlbar"

Sitemap og opdagelighed

Når bots kan tilgå dit site, afgør dit sitemap og din linkstruktur, hvilke sider de faktisk finder

Schema-validator

Schema-markup hjælper AI-crawlere med at fortolke tilgængelige sider — herunder paywalledContent-annoteringer for hybride modeller

AI-optimering

Den paraply-score, der kombinerer bot-adgang, schema, struktur og friskhed til ét AI-parathedssignal

Når AI-bots faktisk dit site?

Kør et gratis GEO-Score-tjek for at se, om GPTBot, ClaudeBot og PerplexityBot kan læse dine sider. Analysatoren inspicerer robots.txt, server-responskoder, CDN-adfærd og JavaScript-renderet indhold — og fortæller dig præcis, hvilke AI-crawlere der er tilladt ind, og hvilke der stille blokeres.

Tjek din AI-bot-adgang gratis