Gratis værktøj, ingen konto

AI-crawler-tjek

Se hvilke AI-bots der kan læse dit website, og hvad det betyder for dig. Vi tjekker din robots.txt, din side og hvordan din server svarer hver bot.

Tre slags AI-bots (og to indstillinger)

AI-virksomheder sender forskellige bots til forskellige opgaver. At blokere én er ikke det samme som at blokere en anden.

Søgere

De bygger det indeks, som AI-svar kommer fra: OAI-SearchBot til ChatGPT search, Claude-SearchBot, PerplexityBot samt Googlebot og bingbot til Googles og Microsofts AI-svar. Blokerer du én, kan det produkt ikke vise eller linke til dine sider.

Lærlinge

De samler sider, der kan bruges til at træne AI-modeller: GPTBot, ClaudeBot, meta-externalagent, Amazonbot og CCBot. At blokere dem holder dig ude af fremtidig træning. Det fjerner dig ikke fra AI-søgning.

Hjælpere

De åbner en side i det øjeblik, nogen spørger om den: ChatGPT-User, Claude-User, Perplexity-User. OpenAI, Perplexity, Meta, Amazon og Google siger, at nogle af dem kan ignorere robots.txt, fordi en person bad om det. Anthropic siger, at alle virksomhedens bots følger robots.txt.

Indstillinger: Google-Extended og Applebot-Extended

Det er ikke crawlere. Det er navne i robots.txt, der fortæller Google og Apple, om sider, de allerede crawler, må træne deres modeller. Google siger, at Google-Extended ikke påvirker Google Søgning, så det ændrer ikke AI Overviews eller AI Mode.

At blokere en lærling holder altså dine sider ude af fremtidig træning, mens det at blokere en søger holder dem ude af det AI-produkts svar.

OpenAIs botdokumentation Anthropics botdokumentation Googles crawlerdokumentation

Hvorfor en bot kan være blokeret, selv om robots.txt siger ja

robots.txt er et skilt på døren, ikke en lås. Den beder bots om at holde sig ude, men kan ikke stoppe dem. Låsen er din server, din hostingudbyder eller dit CDN: en firewallregel, et sikkerhedsplugin eller en botindstilling kan afvise bots, mens robots.txt byder dem velkommen.

Cloudflare er et kendt eksempel. Siden 1. juli 2026 kan alle Cloudflare-abonnementer blokere AI-søgebots, agenter og træningsbots hver for sig. Siden 15. september 2026 blokerer nye Cloudflare-websites som standard træningsbots og agenter på sider med annoncer.

Så hvis vores test finder en afvist bot, så tjek først din firewall, din botbeskyttelse og dine CDN-indstillinger.

Cloudflares changelog om bots

Sådan tester vi, og hvad vi ikke kan se

Vi læser din robots.txt, som bots gør. En gruppe, der nævner botten ved navn, vinder; ellers gælder reglerne for alle bots. Den længste matchende regel afgør det, som robots.txt-standarden (RFC 9309) beskriver.
Vi leder efter noindex, nosnippet, noarchive og nocache på siden. De stopper ikke crawling, men begrænser, hvad der må vises eller genbruges.
Med servertesten slået til sender vi én normal forespørgsel og derefter én forespørgsel pr. bot med et navneskilt som „GPTBot-test“ og et link til denne side. Alle, der læser dine logs, kan se, at det er os.

Hvad vi ikke kan se: rigtige bots kommer fra deres egen virksomheds IP-adresser. En firewall, der tjekker dem, kan behandle dem anderledes end os, i begge retninger. Derfor er servertesten et signal, ikke en garanti.

Et tjek sender cirka 16 små forespørgsler, højst 3 ad gangen, og kun når du trykker på knappen.

robots.txt-standarden (RFC 9309)

Ofte stillede spørgsmål

Forsvinder jeg fra ChatGPT search, hvis jeg blokerer GPTBot?

Nej. GPTBot samler sider, der kan træne OpenAIs modeller. ChatGPT search bruger OAI-SearchBot, og OpenAI siger, at de to indstillinger er uafhængige af hinanden.

Holder det mig ude af AI Overviews at blokere Google-Extended?

Nej. Google siger, at Google-Extended ikke påvirker Google Søgning. AI Overviews og AI Mode er en del af Søgning, så de følger dine regler for Googlebot. For at begrænse, hvad der vises dér, henviser Google til nosnippet, data-nosnippet, max-snippet og noindex.

Følger AI-bots robots.txt?

De fleste bots, der samler eller indekserer sider, siger ja. Flere bots, der åbner en side, fordi en bruger bad om det, siger, at robots.txt måske ikke gælder: ChatGPT-User, Perplexity-User, meta-externalfetcher, Amzn-User og Googles brugerudløste fetchere. Anthropic siger, at alle virksomhedens bots følger robots.txt.

Jeg har ændret min robots.txt. Hvorfor følger bots stadig den gamle?

Bots gemmer en kopi af din robots.txt i et stykke tid. OpenAI, Perplexity, Meta og Amazon nævner cirka 24 timer; DuckDuckGo siger op til 72 timer for DuckAssistBot. Dette værktøj gemmer også et resultat i 15 minutter.

Skal jeg blokere AI-træningsbots?

Det er dit valg. At blokere lærlinge som GPTBot eller ClaudeBot holder dig ude af fremtidig træning og skjuler dig ikke for AI-søgning. At blokere søgere som OAI-SearchBot eller PerplexityBot fjerner dig fra de svar.

Hvorfor vises en bot som blokeret, når min robots.txt tillader den?

Noget foran dit website afviste vores testforespørgsel: en firewall, et sikkerhedsplugin eller en botindstilling i dit CDN. Tjek dem først. Husk, at vores test ikke kan komme fra bottens egne adresser.

Er dette tjek sikkert for mit website?

Ja. Vi sender cirka 16 små forespørgsler, højst 3 ad gangen, og kun når du trykker på knappen. Vi gemmer resultatet i 15 minutter, så et nyt tjek ikke kontakter dit website igen, og derefter gemmer vi ikke din robots.txt.

Hvilke bots tjekker værktøjet?

Alle bots på vores liste, tjekket mod hver virksomheds egen dokumentation. For ByteDance, Cohere, Diffbot og Omgili fandt vi ingen dokumentation fra virksomheden, så vi viser de navne som ikke verificerede.

Lær mere

Bots kan læse din side. Vælger AI den også?

GEO-tjekket scorer én side på 22 punkter, der betyder noget for AI-svar, fra struktur til fakta.

Kør et GEO-tjek