Styring av crawling og indeksering
X-Robots-Tag
X-Robots-Tag er en HTTP-svarheader som kan inneholde enhver regel fra robots-metataggen, som noindex eller nosnippet.
Med enkle ord
En metatagg fungerer bare inne i en HTML-side. En header fungerer for enhver fil serveren din sender.
Derfor er det måten å styre PDF-er, bilder og video på.
Regler uten navn på en crawler gjelder alle crawlere. Google sier at navnet på headeren og verdiene ikke skiller mellom store og små bokstaver.
Eksempel
Et selskap publiserer prislistene sine som PDF-er og vil ikke at de skal vises i Google. Serveren sender headeren nedenfor med hver PDF.
HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindexHvorfor det betyr noe for AI-søk
Søkemotorer kan bare følge den hvis de får crawle filen.
Du kan kombinere flere regler i én header, skilt med komma.
Dette kan du gjøre
- Bruk den for filer uten HTML, som PDF-er.
- Sett den opp på serveren din eller i CDN-et ditt.
- Sjekk svarheaderne i nettleserens utviklerverktøy etter at du har publisert.
Forveksles ofte med
- Robots-metatagg
- Samme regler, annet sted: metataggen står i HTML-en; X-Robots-Tag står i HTTP-svaret.
- robots.txt
- robots.txt styrer crawling per sti. X-Robots-Tag styrer indeksering og snippets per svar.
Kilder
- Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
- Google Search Central: Block Search indexing with noindex
Fakta og kilder sist sjekket 19. oktober 2026.
Relaterte begreper
Les mer på GEO-Score
Hvordan gjør siden din det i AI-søk?
GEO-Score sjekker en side på 22 signaler, fra tilgang for AI-crawlere til strukturerte data, og viser hva du bør fikse først.
Analyser en side