Crawl- en indexinstellingen
X-Robots-Tag
X-Robots-Tag is een HTTP-responsheader die elke regel kan bevatten die ook in de robots-meta-tag kan, zoals noindex of nosnippet.
In gewone woorden
Een meta-tag werkt alleen binnen een HTML-pagina. Een header werkt voor elk bestand dat je server verstuurt.
Daarmee regel je pdf’s, afbeeldingen en videobestanden.
Regels zonder crawlernaam gelden voor alle crawlers. Google zegt dat de headernaam en de waarden niet hoofdlettergevoelig zijn.
Voorbeeld
Een bedrijf publiceert zijn prijslijsten als pdf en wil ze niet in Google. De server stuurt bij elke pdf de header hieronder mee.
HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindexWaarom het telt voor AI-zoeken
Zoekmachines kunnen de header alleen volgen als ze het bestand mogen crawlen.
Je kunt meerdere regels in één header combineren, gescheiden door komma’s.
Wat je kunt doen
- Gebruik het voor bestanden zonder HTML, zoals pdf’s.
- Stel het in in de configuratie van je server of CDN.
- Controleer na het live zetten de responsheaders in de ontwikkelaarstools van je browser.
Vaak verward met
- Robots-meta-tag
- Dezelfde regels, een andere plek: de meta-tag staat in de HTML, X-Robots-Tag in de HTTP-respons.
- robots.txt
- robots.txt regelt crawlen per pad. X-Robots-Tag regelt indexeren en snippets per respons.
Bronnen
- Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
- Google Search Central: Block Search indexing with noindex
Feiten en bronnen voor het laatst gecontroleerd op 19 oktober 2026.
Verwante begrippen
Verder lezen op GEO-Score
Hoe doet jouw pagina het in AI-zoeken?
GEO-Score checkt één pagina op 22 signalen, van toegang voor AI-crawlers tot structured data, en laat zien wat je eerst moet oplossen.
Analyseer een pagina