En praktisk gjennomgang av GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended og resten: hva hver enkelt gjør, og en robots.txt du faktisk kan bruke.
De fleste nettsteder blokkerer KI-crawlere enten ved et uhell — via en arvet WAF-regel eller en kopiert robots.txt-mal — eller tillater alt uten å tenke over hva hver bot faktisk brukes til. Denne guiden løser begge deler.
Sjekk Min CrawlertilgangKI-selskaper kjører minst to forskjellige typer crawlere, og å behandle dem som én ting er den vanligste robots.txt-feilen. Trenings-crawlere som GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google) og CCBot (Common Crawl, brukt indirekte av mange modeller) besøker nettstedet ditt etter sin egen tidsplan for å samle data til en fremtidig modellversjon. Å blokkere én av dem fjerner ikke noe som allerede er lært fra en tidligere crawl — det melder deg bare av fra den neste.
Sanntidshentere fungerer annerledes: OAI-SearchBot og ChatGPT-User (OpenAI), PerplexityBot (Perplexity), og de søketilkoblede hentingene Claude og Gemini gjør, kjører alle i det øyeblikket en bruker stiller et spørsmål som trenger siden din akkurat nå. Å blokkere disse har umiddelbar effekt: motoren kan ikke lese siden din for det svaret, punktum, selv om innholdet ditt var akkurat det den trengte.
Derfor er en generell 'blokker alle boter'-regel som regel en feil, og det samme er en generell 'tillat alt'-regel uten ettertanke. En god robots.txt behandler hver crawler etter hva den gjør: tillat de som driver siteringer og sanntidssvar, og ta et bevisst, informert valg — ikke en standard — om de rene trenings-botene.
Før du forbyr noe, sjekk om det er en trenings-crawler, som bare påvirker fremtidige modellversjoner, eller en sanntidshenter, som påvirker om du blir sitert i et svar akkurat nå. De to har helt forskjellige konsekvenser.
En user-agent-streng er bare tekst — hvem som helst kan sende 'GPTBot' i en forespørselsheader. Bekreft alt utover en grunnleggende robots.txt-regel, som en WAF-blokkering, ut fra publiserte IP-områder eller en verifisert bot-liste fra en CDN, ikke strengen alene.
robots.txt er en forespørsel, ikke en lås — veloppdragne boter respekterer den, men den eneste måten å vite om reglene dine faktisk virker, er å stikkprøvekontrollere serverlogger for 200-svar (ikke stille avvisninger eller WAF-utfordringer) fra botene du ville tillate.
Uavhengig forskning fra Originality.ai fant at GPTBot blokkeres av over en tredjedel av de 1000 mest besøkte nettstedene — og intervjuer med sideeiere viste at mange av disse blokkeringene var arvet fra standard WAF-regler eller kopierte maler, ikke en bevisst beslutning.
Når du vet hvilke boter du vil tillate, er selve robots.txt-endringen en håndfull linjer. Den vanskelige delen er å vite hva du skal skrive, ikke å skrive det.
Casestudier analysert av Hack/Hackers fant at nettsteder som blokkerte KI-crawlere, deretter opplevde et merkbart fall i henvisningstrafikk fra KI-svarmotorer. Crawleren du blokkerer i dag, er siteringen du ikke får i morgen.
List opp hvilke crawlere du vil tillate. De fleste nettsteder bør tillate sanntidshenterne — OAI-SearchBot, ChatGPT-User og PerplexityBot — som standard, siden det å blokkere dem fjerner deg umiddelbart fra direktesvar.
Legg til en User-agent-blokk per bot i stedet for å stole på en generisk wildcard-regel arvet fra en mal. Eksplisitte regler overstyrer standarder og gjør intensjonen din sporbar senere.
Etter utrulling, stikkprøvekontroller loggene dine for botene du tillot. Se etter 200-svar, ikke 403-er eller WAF-utfordringer. En bot som respekterer robots.txt, men fortsatt blir blokkert et annet sted i stacken din, trenger en separat fiks.
En trenings-crawler som GPTBot, ClaudeBot eller Google-Extended samler data etter sin egen tidsplan for å forbedre en fremtidig modellversjon — blokkering har ingen effekt på siteringer som skjer i dag. En sanntidshenter-crawler som OAI-SearchBot, ChatGPT-User eller PerplexityBot kjører i det øyeblikket en brukers spørsmål trenger siden din — å blokkere den betyr at nettopp det svaret ikke kan bruke innholdet ditt i det hele tatt.
Et minimalt eksempel som tillater de viktigste siteringsrelevante botene: User-agent: GPTBot, Allow: /; User-agent: OAI-SearchBot, Allow: /; User-agent: ChatGPT-User, Allow: /; User-agent: ClaudeBot, Allow: /; User-agent: PerplexityBot, Allow: /; User-agent: Google-Extended, Allow: /; etterfulgt av en Sitemap-linje som peker til sitemap.xml. Juster hvilke boter som får Allow versus Disallow basert på din egen beslutning om treningsdata.
For de fleste nettsteder: nei. GPTBot er OpenAIs trenings-crawler — å blokkere den stopper fremtidige modeller fra å trene på nytt innhold, men fjerner ikke noe allerede lært, og påvirker ikke ChatGPTs sanntidssiteringer, som i stedet kommer fra OAI-SearchBot og ChatGPT-User. Å blokkere den er en bevisst avmeldingsbeslutning, ikke et sikkerhetstiltak, og casestudiedata tyder på at det kan koste reell henvisningstrafikk uten en klar fordel for de fleste utgivere.
Å blokkere GPTBot, ClaudeBot eller PerplexityBot har ingen direkte effekt på Google-søkerangeringen din — Googlebot er en helt separat crawler. Å blokkere spesifikt Google-Extended er annerledes: det hindrer innholdet ditt fra å bli brukt i Googles egne KI-funksjoner, som AI Overviews og Gemini, uten å røre den vanlige søkerangeringen din, som styres av Googlebot.
Stol aldri bare på user-agent-strengen — den er lett å forfalske. Bekreft alt utover en grunnleggende robots.txt-regel ut fra crawlerens publiserte IP-områder (OpenAI, Anthropic og andre publiserer disse) eller bruk en verifisert bot-liste fra en CDN, som Cloudflares AI Crawl Control, som sjekker mer enn bare headeren.
llms.txt er en fremvoksende, uoffisiell konvensjon som enkelte nettsteder bruker for å peke KI-crawlere til et kuratert sammendrag av innholdet sitt. Det er ikke en standard som noe stort KI-selskap har bekreftet at det leser, og det erstatter ikke robots.txt, som er den faktiske tilgangskontrollmekanismen crawlere respekterer. Verdt å følge med på, men ikke ennå verdt å prioritere over å få robots.txt riktig.
GEO-Score inspiserer robots.txt, serversvar og JavaScript-rendret innhold for å vise nøyaktig hvilke KI-boter som slipper inn. Fem sidesjekker per domene er gratis hver 30. dag.
Sjekk Min Crawlertilgang