Styrning av crawling och indexering
Web Bot Auth
Web Bot Auth är en autentiseringsmetod där en bot signerar sina HTTP-förfrågningar kryptografiskt, så att en webbplats kan kontrollera att en förfrågan verkligen kommer från den boten.
Med enkla ord
Vem som helst kan skriva "GPTBot" i en user agent. En signatur är mycket svårare att förfalska.
Den bygger på två IETF-utkast: ett för en katalog där en crawler delar sina publika nycklar, och ett som anger hur nycklarna knyter crawlerns identitet till HTTP-förfrågningar.
Exempel
Cloudflare använder Web Bot Auth som ett av sina sätt att verifiera botar och agenter. En signerad förfrågan kan kontrolleras mot crawlerns publicerade nycklar innan den släpps igenom.
Varför det spelar roll för AI-sök
Falska crawlers är vanliga: både Google och Common Crawl varnar för att namnen på deras crawlers förfalskas.
Signerade förfrågningar gör det lättare att släppa in de äkta AI-crawlerna och hålla bedragare ute.
Det här kan du göra
- Använder du Cloudflare, kolla dess inställningar för verifiering av botar.
- Tills signaturer finns överallt, verifiera botar via IP-listorna som deras operatörer publicerar.
- Bedöm inte en crawler bara utifrån namnet; kontrollera att den är den den säger sig vara.
Förväxlas ofta med
- User agent
- En user agent är bara ett namn som besökaren skickar. Web Bot Auth lägger till ett bevis.
- IP-kontroll
- En IP-lista visar varifrån en förfrågan kommer. En signatur visar vem som skickade den.
Källor
Fakta och källor senast kontrollerade 19 oktober 2026.
Relaterade begrepp
Hur klarar sig din sida i AI-sök?
GEO-Score kontrollerar en sida på 22 signaler, från åtkomst för AI-crawlers till strukturerad data, och visar vad du ska åtgärda först.
Analysera en sida