Styring av crawling og indeksering
Web Bot Auth
Web Bot Auth er en autentiseringsmetode der en bot signerer HTTP-forespørslene sine kryptografisk, så et nettsted kan sjekke at en forespørsel virkelig kommer fra den boten.
Med enkle ord
Alle kan skrive "GPTBot" i en user agent. En signatur er mye vanskeligere å forfalske.
Den bygger på to IETF-utkast: ett for et register der en crawler deler de offentlige nøklene sine, og ett som fastsetter hvordan nøklene knytter identiteten til crawleren til HTTP-forespørsler.
Eksempel
Cloudflare bruker Web Bot Auth som en av måtene å bekrefte boter og agenter på. En signert forespørsel kan sjekkes mot de publiserte nøklene til crawleren før den slippes gjennom.
Hvorfor det betyr noe for AI-søk
Falske crawlere er vanlige: både Google og Common Crawl advarer om at navnene på crawlerne deres forfalskes.
Signerte forespørsler gjør det lettere å slippe inn de ekte AI-crawlerne og holde svindlere ute.
Dette kan du gjøre
- Bruker du Cloudflare, sjekk innstillingene for bekreftelse av boter.
- Inntil signaturer er overalt, bekreft boter via IP-listene operatørene publiserer.
- Ikke vurder en crawler bare ut fra navnet; sjekk at den er den den sier.
Forveksles ofte med
- User agent
- En user agent er bare et navn den besøkende sender. Web Bot Auth legger til et bevis.
- IP-sjekk
- En IP-liste viser hvor en forespørsel kommer fra. En signatur viser hvem som sendte den.
Kilder
Fakta og kilder sist sjekket 19. oktober 2026.
Relaterte begreper
Hvordan gjør siden din det i AI-søk?
GEO-Score sjekker en side på 22 signaler, fra tilgang for AI-crawlere til strukturerte data, og viser hva du bør fikse først.
Analyser en side