Should I block GPTBot to protect my content from AI training?

For most sites, no. Originality.ai found 35.7% of the top 1,000 sites block GPTBot, but a Hack/Hackers analysis showed major publishers who blocked AI bots subsequently lost roughly 23% of their traffic. Unless you have a multi-million-dollar licensing deal (NYT-Amazon, News Corp-OpenAI) or your business model depends on closed expertise, blocking removes your only path into AI search results — which is increasingly where customers are starting their journeys. The default for non-publishers should be Allow.

What is the impact of allowing AI bots on my GEO-Score?

Allowing AI bots is the prerequisite for every other GEO metric. The analyzer treats bot access as a gating factor: if AI crawlers cannot reach your pages, your scores for citations, schema, content structure, and freshness all become academic. Sites that switch from blocking to allowing typically see AI-driven traffic appear within 2-6 weeks, depending on how often each bot recrawls. The change has no negative SEO impact because Googlebot and Google-Extended are independent — blocking one does not affect the other.

What is the difference between GPTBot, ChatGPT-User, and OAI-SearchBot?

OpenAI uses three crawlers for distinct purposes. GPTBot crawls broadly to gather training data for future model versions. OAI-SearchBot indexes pages for ChatGPT's built-in search feature, which surfaces results in real-time during conversations. ChatGPT-User is triggered when an individual ChatGPT user asks the model to fetch a specific URL or browse a topic. To be fully visible in OpenAI's ecosystem you should allow all three — blocking GPTBot only stops training-data inclusion, not live citations.

Does blocking Google-Extended affect my Google Search rankings?

No. Google's official documentation states that Google-Extended is a separate token from Googlebot, and blocking it has no impact on search rankings, indexation, or visibility. Google-Extended controls only whether your content can be used to train Gemini and to ground Google AI Overviews answers. Many publishers block Google-Extended to limit training-data use while keeping full Search presence — though this also reduces the chance of being cited inside AI Overviews.

Why are AI bots crawling my site so much without sending traffic back?

This is the crawl-to-referral gap. Cloudflare's 2025 analysis found Anthropic's ratio peaked near 500,000:1 (500,000 page fetches per human referral) before settling at 25,000:1 to 100,000:1, while OpenAI's GPTBot ratio sat around 1,200-3,700:1. The imbalance is real, but the alternative — blocking — eliminates the small but growing referral stream entirely and removes you from the answers users see, even when those answers do not click through. For most sites the best response is to allow access while ensuring crawl efficiency (fast responses, accurate sitemaps) rather than block.

Should I implement an llms.txt file alongside robots.txt?

Not as a substitute for robots.txt. The llms.txt proposal from Jeremy Howard (September 2024) is an interesting standard for guiding AI to high-value resources, but as of late 2025 no major AI crawler — OpenAI, Anthropic, Google, Perplexity — has confirmed they read or follow llms.txt. An audit of server logs across hundreds of sites in October 2025 found zero LLM crawlers requesting llms.txt files. It costs little to add as a future-proofing measure, but every access decision today still depends on robots.txt, server response codes, and CDN/WAF configuration.

AI-bot-toegang: 5,6 mln sites blokkeren GPTBot

Wat is AI-bot-toegang?

AI-bot-toegang meet of AI-crawlers — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot, ChatGPT-User en andere — je pagina's daadwerkelijk kunnen bereiken en lezen. De check kijkt naar vier lagen: robots.txt-directives, server response codes, IP-gebaseerde blokkades vanuit CDN's en WAF's, en of content vergrendeld zit achter JavaScript of paywalls. Elke laag kan AI-zichtbaarheid stilletjes om zeep helpen, en veel sites worden op één of meer lagen geblokkeerd zonder het te beseffen.

Deze metric is de poortwachter voor de gehele GEO-Score. Een perfecte 100/100 op schema, vermeldingen, versheid en structuur levert exact nul AI-vermeldingen op als één Disallow-regel in robots.txt of een standaard WAF-regel crawlers wegstuurt. Cloudflare meldde in juli 2025 dat zijn netwerk AI-crawlers nu standaard blokkeert voor nieuwe klanten — wat betekent dat een aanzienlijk deel van het web van de ene op de andere dag onzichtbaar werd voor AI.

Waarom AI-bot-toegang belangrijk is

AI-zoeken is inmiddels een meetbaar deel van het totale webverkeer, maar het is ook de meest fragiele verkeersbron — één verkeerd geconfigureerde regel kan je aanwezigheid in ChatGPT, Claude en Perplexity tegelijk wegvagen. Drie krachten verklaren waarom bot-toegang aandacht verdient vóór elk ander GEO-werk.

Bot-toegang is een binaire poortwachter

AI-crawlers indexeren een geblokkeerde site niet gedeeltelijk — ze slaan hem helemaal over. Als GPTBot, ClaudeBot of PerplexityBot een 403, een robots.txt Disallow of een WAF-challenge krijgt, wordt de pagina voor AI-antwoorden behandeld alsof ze niet bestaat. Er is geen "verminderde zichtbaarheid"-uitkomst: het is volledige citatie-eligibility of helemaal geen.

De meeste blokkades zijn per ongeluk

Originality.ai vond dat GPTBot inmiddels door 35,7% van de top 1.000 websites wordt geblokkeerd, maar uit gesprekken met site-eigenaren blijkt dat veel van die blokkades zijn overgenomen uit standaard WAF-regelsets, gekopieerde robots.txt-templates of CDN-bot-fight-modes die GPTBot als een generieke scraper classificeren. Weinig van deze eigenaren wilden AI bewust blokkeren; ze vergaten het simpelweg toe te staan.

AI-crawlers zijn agressief — maar selectief

Cloudflare meldde dat GPTBot in ruwe requests 305% groeide tussen mei 2024 en mei 2025, terwijl PerplexityBot vanaf een kleine basis met 157.490% groeide. Dat volume komt met een budget: bots geven prioriteit aan sites die snel reageren, 200's teruggeven en content in de initiële HTML serveren. Sites die af en toe een 5xx geven, content achter JavaScript verbergen of AI-bots rate-limiten zien vermeldingen dalen, zelfs zonder expliciete blokkade.

Wat het onderzoek zegt

Het aandeel van GPTBot in al het crawlerverkeer steeg van 2,2% naar 7,7%, met een stijging van 305% in het aantal requests over 12 maanden — een sprong van plek #9 naar plek #3 onder alle webcrawlers. PerplexityBot liet de meest explosieve groei zien: 157.490% vanaf een minimale basis. Toch had slechts 14% van de geanalyseerde domeinen specifieke robots.txt-richtlijnen voor AI-bots — de overige 86% liet AI-verkeer stilzwijgend toe of blokkeerde het per ongeluk.

João Tomé, Jorge Pacheco, Carlos Azevedo — From Googlebot to GPTBot: Who's Crawling Your Site in 2025, Cloudflare Blog, juli 2025 — analyse van 3.816 topdomeinen

GPTBot wordt nu geblokkeerd door 35,7% van de top 1.000 websites, tegenover slechts 5% toen de bot in augustus 2023 werd geïntroduceerd. Het percentage sites dat GPTBot blokkeerde, steeg in de beginfase met ongeveer 5% per week na de aankondiging van de bot. Veel van deze blokkades kwamen voort uit standaardtemplates en CDN-regels, niet uit bewuste beleidskeuzes.

Originality.ai — GPTBot Blocking Tracker, update augustus 2024 — kwartaalonderzoek onder de Quantcast top 1.000 websites sinds de lancering van GPTBot

De crawl-naar-referral-ratio van Anthropic piekte begin 2025 op bijna 500.000:1 voordat deze zich stabiliseerde tussen 25.000:1 en 100.000:1, terwijl de GPTBot-ratio van OpenAI in maart 2025 opliep tot ongeveer 3.700:1. Deze onbalans — bots nemen veel meer dan ze teruggeven aan menselijke bezoeken — is de belangrijkste reden waarom uitgevers geneigd zijn te blokkeren. Maar voor elke site die geen groot nieuwsmerk is, sluit blokkeren de enige weg naar citaties in AI-zoekresultaten volledig af.

Cloudflare Radar — The crawl-to-click gap: AI bots, training, and referrals, 2025 — meermaandelijkse analyse van crawler-naar-mens-referral-ratio's binnen het Cloudflare-netwerk

Snelle tips voor AI-bot-toegang

Gebruik altijd expliciete Allow-regels per AI-bot — "User-agent: * / Allow: /" lijkt permissief maar signaleert geen intentie en veel WAF's overschrijven het

Check je CDN-dashboard vóór robots.txt — de wijziging van Cloudflare in juli 2025 blokkeert AI-crawlers standaard voor nieuwe klanten, ongeacht wat je robots.txt zegt

Sta zowel training-bots (GPTBot, ClaudeBot) als zoekbots tijdens query (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) toe — ze bedienen verschillende delen van de AI-antwoord-pipeline

Vertrouw niet op llms.txt als primair toegangsmechanisme — eind 2025 leest geen enkele grote AI-crawler het; robots.txt blijft de enige universeel gehonoreerde standaard

Render kritieke content server-side of via SSG — alleen Googlebot voert betrouwbaar JavaScript uit onder grote crawlers, dus alleen via JS gerenderde content is onzichtbaar voor GPTBot, ClaudeBot en PerplexityBot

Sample je access logs wekelijks op de AI-user-agent strings — een plotselinge daling naar nul is het vroegste signaal van een onbedoelde blokkade door een CDN-update of WAF-regelwijziging

Moet ik GPTBot blokkeren om mijn content tegen AI-training te beschermen?

▼

Voor de meeste sites: nee. Originality.ai vond dat 35,7% van de top 1.000 sites GPTBot blokkeert, maar een Hack/Hackers-analyse liet zien dat grote uitgevers die AI-bots blokkeerden vervolgens ongeveer 23% van hun verkeer verloren. Tenzij je een licentiedeal van miljoenen dollars hebt (NYT-Amazon, News Corp-OpenAI) of je businessmodel afhankelijk is van afgeschermde expertise, haalt blokkeren je enige route naar AI-zoekresultaten weg — en daar starten klanten steeds vaker hun journey. De default voor niet-uitgevers zou Allow moeten zijn.

Wat is de impact van AI-bots toestaan op mijn GEO-Score?

▼

AI-bots toestaan is de voorwaarde voor elke andere GEO-metric. De analyser behandelt bot-toegang als een poortfactor: als AI-crawlers je pagina's niet kunnen bereiken, worden je scores voor vermeldingen, schema, contentstructuur en versheid puur theoretisch. Sites die overstappen van blokkeren naar toestaan, zien doorgaans binnen 2-6 weken AI-gedreven verkeer verschijnen, afhankelijk van hoe vaak elke bot herrcrawlt. De wijziging heeft geen negatieve SEO-impact omdat Googlebot en Google-Extended onafhankelijk zijn — een blokkeren beïnvloedt het andere niet.

Wat is het verschil tussen GPTBot, ChatGPT-User en OAI-SearchBot?

▼

OpenAI gebruikt drie crawlers voor verschillende doelen. GPTBot crawlt breed om trainingsdata voor toekomstige modelversies te verzamelen. OAI-SearchBot indexeert pagina's voor de ingebouwde zoekfunctie van ChatGPT, die in real-time resultaten oppert tijdens gesprekken. ChatGPT-User wordt getriggerd wanneer een individuele ChatGPT-gebruiker het model vraagt een specifieke URL op te halen of een onderwerp te browsen. Voor volledige zichtbaarheid in het OpenAI-ecosysteem moet je alle drie toestaan — alleen GPTBot blokkeren stopt enkel inclusie in trainingsdata, niet live vermeldingen.

Beïnvloedt het blokkeren van Google-Extended mijn Google Search-rankings?

▼

Nee. De officiële documentatie van Google stelt dat Google-Extended een aparte token is van Googlebot, en blokkeren heeft geen impact op zoekrankings, indexatie of zichtbaarheid. Google-Extended bepaalt alleen of je content gebruikt mag worden om Gemini te trainen en om antwoorden in Google AI Overviews te onderbouwen. Veel uitgevers blokkeren Google-Extended om gebruik in trainingsdata te beperken, terwijl ze hun volledige Search-aanwezigheid behouden — al verkleint dat ook de kans om in AI Overviews geciteerd te worden.

Waarom crawlen AI-bots mijn site zo vaak zonder verkeer terug te sturen?

▼

Dit is de crawl-to-referral gap. Cloudflare's analyse uit 2025 vond dat de ratio van Anthropic piekte bij ongeveer 500.000:1 (500.000 page fetches per menselijke referral) voor hij stabiliseerde tussen 25.000:1 en 100.000:1, terwijl OpenAI's GPTBot-ratio rond de 1.200-3.700:1 zat. De disbalans is reëel, maar het alternatief — blokkeren — schakelt de kleine maar groeiende referral-stroom volledig uit en haalt je weg uit de antwoorden die gebruikers zien, ook als die antwoorden niet doorklikken. Voor de meeste sites is de beste reactie om toegang toe te staan en tegelijk crawl-efficiëntie te waarborgen (snelle responses, accurate sitemaps) in plaats van te blokkeren.

Moet ik een llms.txt-bestand naast robots.txt implementeren?

▼

Niet als vervanging van robots.txt. Het llms.txt-voorstel van Jeremy Howard (september 2024) is een interessante standaard om AI naar waardevolle resources te leiden, maar eind 2025 heeft geen enkele grote AI-crawler — OpenAI, Anthropic, Google, Perplexity — bevestigd dat ze llms.txt lezen of volgen. Een audit van serverlogs op honderden sites in oktober 2025 vond nul LLM-crawlers die llms.txt-bestanden opvroegen. Het kost weinig om het toe te voegen als toekomstbestendige maatregel, maar elke toegangsbeslissing van vandaag hangt nog steeds af van robots.txt, server response codes en CDN/WAF-configuratie.

Gerelateerde metrics om te verkennen

Page Speed

Trage responses zorgen ervoor dat AI-crawlers timeouten — page speed maakt van "toegestaan" pas "echt crawlbaar"

Sitemap & vindbaarheid

Zodra bots je site kunnen bereiken, bepalen je sitemap en linkstructuur welke pagina's ze daadwerkelijk vinden

Schema-validator

Schema markup helpt AI-crawlers toegankelijke pagina's te interpreteren — inclusief paywalledContent-annotaties voor hybride modellen

AI-optimalisatie

De koepelscore die bot-toegang, schema, structuur en versheid combineert tot één AI-readiness-signaal

Bereiken AI-bots je site echt?

Doe een gratis GEO-Score Check om te zien of GPTBot, ClaudeBot en PerplexityBot je pagina's kunnen lezen. De analyser inspecteert robots.txt, server response codes, CDN-gedrag en JavaScript-gerenderde content — en vertelt je precies welke AI-crawlers worden toegelaten en welke stilletjes geblokkeerd zijn.

Check je AI-bot-toegang gratis