Konfiguration af robots.txt til AI-crawlere
En praktisk gennemgang af GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended og resten: hvad hver enkelt gør, og en robots.txt du faktisk kan bruge.
De fleste sider blokerer AI-crawlere enten ved et uheld — via en arvet WAF-regel eller en kopieret robots.txt-skabelon — eller tillader alt uden at tænke over, hvad hver bot egentlig bruges til. Denne guide løser begge dele.
Tjek Min CrawleradgangTo Slags AI-crawlere, Ikke Én
AI-virksomheder kører mindst to forskellige slags crawlere, og at behandle dem som én ting er den mest almindelige robots.txt-fejl. Trænings-crawlere som GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google) og CCBot (Common Crawl, brugt indirekte af mange modeller) besøger din side efter deres egen tidsplan for at indsamle data til en fremtidig modelversion. At blokere én af dem fjerner ikke noget, der allerede er lært fra en tidligere crawl — det melder dig kun fra den næste.
Realtidshentere fungerer anderledes: OAI-SearchBot og ChatGPT-User (OpenAI), PerplexityBot (Perplexity), og de søgeforbundne hentninger Claude og Gemini foretager, kører alle i det øjeblik en bruger stiller et spørgsmål, der har brug for din side lige nu. At blokere dem har øjeblikkelig effekt: motoren kan ikke læse din side til det svar, punktum, selv hvis dit indhold var præcis det, den havde brug for.
Derfor er en blanket 'blokér alle bots'-regel som regel en fejl, og det er en blanket 'tillad alt'-regel uden eftertanke også. En god robots.txt behandler hver crawler efter, hvad den gør: tillad dem, der driver citationer og realtidssvar, og træf et bevidst, informeret valg — ikke en standard — omkring de rene trænings-bots.
Hvad Du Skal Beslutte, Før Du Redigerer robots.txt
Vid, Hvilken Type Du Blokerer
Før du forbyder noget, tjek om det er en trænings-crawler, som kun påvirker fremtidige modelversioner, eller en realtidshenter, som påvirker om du bliver citeret i et svar lige nu. De to har helt forskellige konsekvenser.
Bekræft At Botten Er Ægte
En user-agent-streng er bare tekst — hvem som helst kan sende 'GPTBot' i en request-header. Bekræft alt ud over en grundlæggende robots.txt-regel, som en WAF-blokering, ud fra offentliggjorte IP-intervaller eller en verificeret bot-liste fra en CDN, ikke strengen alene.
Tjek Dine Serverlogs, Ikke Kun robots.txt
robots.txt er en anmodning, ikke en lås — velopdragne bots respekterer den, men den eneste måde at vide, om dine regler faktisk virker, er at stikprøvetjekke serverlogs for 200-svar (ikke stille afvisninger eller WAF-udfordringer) fra de bots, du ville tillade.
Hvorfor Det Er Værd At Gøre Rigtigt
Utilsigtet Blokering Er Normen, Ikke Undtagelsen
Uafhængig forskning fra Originality.ai fandt, at GPTBot blokeres af over en tredjedel af de 1.000 mest besøgte websites — og interviews med sideejere viste, at mange af disse blokeringer var arvet fra standard WAF-regler eller kopierede skabeloner, ikke en bevidst beslutning.
Normalt en Fem-minutters Fix
Når du ved, hvilke bots du vil tillade, er den faktiske robots.txt-ændring en håndfuld linjer. Den svære del er at vide, hvad du skal skrive, ikke at skrive det.
Blokering Har En Målbar Pris
Casestudier analyseret af Hack/Hackers fandt, at sider, der blokerede AI-crawlere, efterfølgende oplevede et mærkbart fald i henvisningstrafik fra AI-svarmaskiner. Den crawler, du blokerer i dag, er den citation, du ikke får i morgen.
Opsæt AI-crawleradgang i 3 Trin
Beslut Pr. Bot, Ikke Alt-eller-intet
List hvilke crawlere du vil tillade. De fleste sider bør som standard tillade realtidshenterne — OAI-SearchBot, ChatGPT-User og PerplexityBot — da blokering af dem straks fjerner dig fra live svar.
Skriv Eksplicitte Allow-regler
Tilføj en User-agent-blok pr. bot i stedet for at stole på en generisk wildcard-regel arvet fra en skabelon. Eksplicitte regler tilsidesætter standardindstillinger og gør din hensigt sporbar senere.
Bekræft Med Serverlogs
Efter udrulning, stikprøvetjek dine logs for de bots, du tillod. Kig efter 200-svar, ikke 403'ere eller WAF-udfordringer. En bot, der respekterer robots.txt, men stadig bliver blokeret et andet sted i din stack, har brug for en separat fix.
AI Crawler Access — Ofte Stillede Spørgsmål
Hvad er forskellen på en trænings-crawler og en realtidshenter-crawler?
En trænings-crawler som GPTBot, ClaudeBot eller Google-Extended indsamler data efter sin egen tidsplan for at forbedre en fremtidig modelversion — blokering har ingen effekt på citationer, der sker i dag. En realtidshenter-crawler som OAI-SearchBot, ChatGPT-User eller PerplexityBot kører i det øjeblik en brugers spørgsmål har brug for din side — blokering betyder, at netop det svar slet ikke kan bruge dit indhold.
Hvordan ser en fungerende robots.txt til AI-crawlere ud?
Et minimalt eksempel, der tillader de vigtigste citationsrelevante bots: User-agent: GPTBot, Allow: /; User-agent: OAI-SearchBot, Allow: /; User-agent: ChatGPT-User, Allow: /; User-agent: ClaudeBot, Allow: /; User-agent: PerplexityBot, Allow: /; User-agent: Google-Extended, Allow: /; efterfulgt af en Sitemap-linje, der peger på din sitemap.xml. Justér hvilke bots der får Allow versus Disallow ud fra din egen beslutning om træningsdata.
Bør jeg blokere GPTBot for at holde AI ude af mit indhold?
For de fleste sider: nej. GPTBot er OpenAIs trænings-crawler — blokering stopper fremtidige modeller i at træne på nyt indhold, men fjerner ikke noget allerede lært, og påvirker ikke ChatGPTs realtidscitationer, som i stedet kommer fra OAI-SearchBot og ChatGPT-User. At blokere den er en bevidst fravalgsbeslutning, ikke en sikkerhedsforanstaltning, og casestudie-data tyder på, at det kan koste reel henvisningstrafik uden en klar fordel for de fleste udgivere.
Påvirker blokering af AI-crawlere min Google-ranking?
At blokere GPTBot, ClaudeBot eller PerplexityBot har ingen direkte effekt på din Google-søgeranking — Googlebot er en helt separat crawler. At blokere specifikt Google-Extended er anderledes: det forhindrer dit indhold i at blive brugt i Googles egne AI-funktioner, som AI Overviews og Gemini, uden at røre din normale søgeranking, som styres af Googlebot.
Hvordan ved jeg, om en anmodning, der hævder at være GPTBot, faktisk er GPTBot?
Stol aldrig kun på user-agent-strengen — den er trivielt nem at forfalske. Bekræft alt ud over en grundlæggende robots.txt-regel ud fra crawlerens offentliggjorte IP-intervaller (OpenAI, Anthropic og andre offentliggør disse) eller brug en verificeret bot-liste fra en CDN, som Cloudflares AI Crawl Control, der tjekker mere end bare headeren.
Har jeg også brug for en llms.txt-fil?
llms.txt er en spirende, uofficiel konvention, nogle sider bruger til at pege AI-crawlere hen på et kurateret resumé af deres indhold. Det er ikke en standard, som noget stort AI-firma har bekræftet at læse, og det erstatter ikke robots.txt, som er den faktiske adgangskontrolmekanisme, crawlere respekterer. Værd at holde øje med, men endnu ikke værd at prioritere over at få din robots.txt rigtig.
Tjek Om AI-crawlere Faktisk Kan Læse Din Side
GEO-Score undersøger din robots.txt, serverresponser og JavaScript-renderet indhold for præcist at vise, hvilke AI-bots der har adgang. Fem sidetjek pr. domæne er gratis hver 30. dag.
Tjek Min Crawleradgang