Gratis verktøy, ingen konto
Se hvilke AI-boter som kan lese nettstedet ditt, og hva det betyr for deg. Vi sjekker robots.txt, siden din og hvordan serveren din svarer hver bot.
AI-selskaper sender ulike boter til ulike oppgaver. Å blokkere én er ikke det samme som å blokkere en annen.
De bygger indeksen som AI-svar kommer fra: OAI-SearchBot for ChatGPT search, Claude-SearchBot, PerplexityBot, og Googlebot og bingbot for AI-svarene til Google og Microsoft. Blokkerer du én, kan det produktet ikke vise eller lenke til sidene dine.
De samler sider som kan brukes til å trene AI-modeller: GPTBot, ClaudeBot, meta-externalagent, Amazonbot og CCBot. Å blokkere dem holder deg utenfor fremtidig trening. Det fjerner deg ikke fra AI-søk.
De åpner en side i det øyeblikket noen spør om den: ChatGPT-User, Claude-User, Perplexity-User. OpenAI, Perplexity, Meta, Amazon og Google sier at noen av dem kan ignorere robots.txt, fordi en person ba om det. Anthropic sier at alle botene deres følger robots.txt.
Dette er ikke crawlere. Det er navn i robots.txt som forteller Google og Apple om sider de allerede crawler, kan trene modellene deres. Google sier at Google-Extended ikke påvirker Google-søk, så det endrer ikke AI Overviews eller AI Mode.
Å blokkere en lærling holder altså sidene dine utenfor fremtidig trening, mens det å blokkere en søker holder dem utenfor svarene til det AI-produktet.
Robots.txt er et skilt på døren, ikke en lås. Den ber botene holde seg ute, men kan ikke stoppe dem. Låsen er serveren, leverandøren eller CDN-et ditt: en brannmurregel, en sikkerhetsplugin eller en botinnstilling kan avvise boter mens robots.txt ønsker dem velkommen.
Cloudflare er et vanlig eksempel. Siden 1. juli 2026 kan alle Cloudflare-abonnementer blokkere AI-søkeboter, agenter og treningsboter hver for seg. Siden 15. september 2026 blokkerer nye Cloudflare-nettsteder som standard treningsboter og agenter på sider med annonser.
Finner testen vår en avvist bot, bør du altså først sjekke brannmuren, botbeskyttelsen og CDN-innstillingene dine.
Endringsloggen til Cloudflare om boterDet vi ikke kan se: ekte boter kommer fra IP-adressene til sitt eget selskap. En brannmur som sjekker dem, kan behandle dem annerledes enn oss, i begge retninger. Derfor er servertesten et signal, ikke en garanti.
En sjekk sender rundt 16 små forespørsler, maks 3 om gangen, og bare når du trykker på knappen.
Robots.txt-standarden (RFC 9309)Nei. GPTBot samler sider som kan trene modellene til OpenAI. ChatGPT search bruker OAI-SearchBot, og OpenAI sier at de to innstillingene er uavhengige av hverandre.
Nei. Google sier at Google-Extended ikke påvirker Google-søk. AI Overviews og AI Mode er en del av søket, så de følger reglene dine for Googlebot. For å begrense hva som vises der, viser Google til nosnippet, data-nosnippet, max-snippet og noindex.
De fleste boter som samler eller indekserer sider, sier ja. Flere boter som åpner en side fordi en bruker ba om det, sier at robots.txt kanskje ikke gjelder: ChatGPT-User, Perplexity-User, meta-externalfetcher, Amzn-User og de brukerutløste henterne til Google. Anthropic sier at alle botene deres følger robots.txt.
Boter tar vare på en kopi av robots.txt en stund. OpenAI, Perplexity, Meta og Amazon nevner rundt 24 timer; DuckDuckGo sier opptil 72 timer for DuckAssistBot. Dette verktøyet tar også vare på et resultat i 15 minutter.
Det er ditt valg. Å blokkere lærlinger som GPTBot eller ClaudeBot holder deg utenfor fremtidig trening og skjuler deg ikke for AI-søk. Å blokkere søkere som OAI-SearchBot eller PerplexityBot fjerner deg fra de svarene.
Noe foran nettstedet ditt avviste testforespørselen vår: en brannmur, en sikkerhetsplugin eller en botinnstilling i CDN-et ditt. Sjekk dem først. Husk at testen vår ikke kan komme fra botens egne adresser.
Ja. Vi sender rundt 16 små forespørsler, maks 3 om gangen, og bare når du trykker på knappen. Vi tar vare på resultatet i 15 minutter, så en ny sjekk ikke kontakter nettstedet ditt igjen, og etter det lagrer vi ikke robots.txt-filen din.
Alle botene på listen vår, sjekket mot hvert selskaps egen dokumentasjon. For ByteDance, Cohere, Diffbot og Omgili fant vi ingen dokumentasjon fra selskapet, så vi viser de navnene som ikke verifisert.
GEO-sjekken gir én side poeng på 22 punkter som betyr noe for AI-svar, fra struktur til fakta.
Kjør en GEO-sjekk