Styring af crawling og indeksering
Web Bot Auth
Web Bot Auth er en godkendelsesmetode, hvor en bot signerer sine HTTP-forespørgsler kryptografisk, så et website kan tjekke, at en forespørgsel virkelig kommer fra den bot.
Med enkle ord
Alle kan skrive "GPTBot" i en user agent. En signatur er meget sværere at forfalske.
Den bygger på to IETF-udkast: ét til et register, hvor en crawler deler sine offentlige nøgler, og ét, der fastlægger, hvordan de nøgler binder crawlerens identitet til HTTP-forespørgsler.
Eksempel
Cloudflare bruger Web Bot Auth som en af sine måder at bekræfte bots og agenter på. En signeret forespørgsel kan tjekkes mod crawlerens offentliggjorte nøgler, før den slippes igennem.
Hvorfor det betyder noget for AI-søgning
Falske crawlere er almindelige: Google og Common Crawl advarer begge om, at deres crawlernavne bliver forfalsket.
Signerede forespørgsler gør det nemmere at lukke de ægte AI-crawlere ind og holde bedragere ude.
Det kan du gøre
- Bruger du Cloudflare, så tjek dets indstillinger for bekræftelse af bots.
- Indtil signaturer er overalt, så bekræft bots via de IP-lister, deres operatører offentliggør.
- Bedøm ikke en crawler alene på navnet; tjek, at den er den, den siger.
Forveksles ofte med
- User agent
- En user agent er kun et navn, den besøgende sender. Web Bot Auth tilføjer et bevis.
- IP-tjek
- En IP-liste viser, hvor en forespørgsel kommer fra. En signatur viser, hvem der sendte den.
Kilder
Fakta og kilder sidst tjekket 19. oktober 2026.
Relaterede begreber
Hvordan klarer din side sig i AI-søgning?
GEO-Score tjekker en side på 22 signaler, fra adgang for AI-crawlere til strukturerede data, og viser, hvad du skal rette først.
Analysér en side