Styring af crawling og indeksering
X-Robots-Tag
X-Robots-Tag er en HTTP-svarheader, der kan indeholde enhver regel fra robots-metataggen, som noindex eller nosnippet.
Med enkle ord
Et metatag virker kun inde i en HTML-side. En header virker for enhver fil, din server sender.
Derfor er det måden at styre PDF'er, billeder og video på.
Regler uden navn på en crawler gælder for alle crawlere. Google siger, at headerens navn og værdier ikke skelner mellem store og små bogstaver.
Eksempel
En virksomhed udgiver sine prislister som PDF'er og vil ikke have dem vist i Google. Serveren sender headeren nedenfor med hver PDF.
HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindexHvorfor det betyder noget for AI-søgning
Søgemaskiner kan kun følge den, hvis de må crawle filen.
Du kan kombinere flere regler i én header, adskilt med kommaer.
Det kan du gøre
- Brug den til filer uden HTML, som PDF'er.
- Sæt den op på din server eller i dit CDN.
- Tjek svarheaderne i din browsers udviklerværktøjer, når du har udgivet.
Forveksles ofte med
- Robots-metatag
- Samme regler, andet sted: metataggen står i HTML'en; X-Robots-Tag står i HTTP-svaret.
- robots.txt
- robots.txt styrer crawling per sti. X-Robots-Tag styrer indeksering og snippets per svar.
Kilder
- Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
- Google Search Central: Block Search indexing with noindex
Fakta og kilder sidst tjekket 19. oktober 2026.
Relaterede begreber
Læs mere på GEO-Score
Hvordan klarer din side sig i AI-søgning?
GEO-Score tjekker en side på 22 signaler, fra adgang for AI-crawlere til strukturerede data, og viser, hvad du skal rette først.
Analysér en side