Crawling- und Index-Steuerung
X-Robots-Tag
X-Robots-Tag ist ein HTTP-Antwort-Header, der jede Regel enthalten kann, die auch im Robots-Meta-Tag möglich ist, etwa noindex oder nosnippet.
Einfach erklärt
Ein Meta-Tag wirkt nur innerhalb einer HTML-Seite. Ein Header wirkt für jede Datei, die Ihr Server ausliefert.
Damit steuern Sie PDFs, Bilder und Videodateien.
Regeln ohne Crawler-Namen gelten für alle Crawler. Google sagt, dass Header-Name und Werte nicht zwischen Groß- und Kleinschreibung unterscheiden.
Beispiel
Ein Unternehmen veröffentlicht seine Preislisten als PDF und will sie nicht bei Google haben. Sein Server schickt bei jeder PDF den Header unten mit.
HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindexWarum es für die KI-Suche zählt
Suchmaschinen können dem Header nur folgen, wenn sie die Datei crawlen dürfen.
Sie können mehrere Regeln in einem Header kombinieren, durch Kommas getrennt.
Was Sie tun können
- Nutzen Sie ihn für Dateien ohne HTML, etwa PDFs.
- Richten Sie ihn in der Konfiguration Ihres Servers oder CDNs ein.
- Prüfen Sie nach dem Livegang die Antwort-Header in den Entwicklertools Ihres Browsers.
Oft verwechselt mit
- Robots-Meta-Tag
- Gleiche Regeln, anderer Ort: Das Meta-Tag steht im HTML, X-Robots-Tag in der HTTP-Antwort.
- robots.txt
- robots.txt steuert das Crawlen nach Pfaden. X-Robots-Tag steuert Indexierung und Snippets pro Antwort.
Quellen
- Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
- Google Search Central: Block Search indexing with noindex
Fakten und Quellen zuletzt geprüft am 19. Oktober 2026.
Verwandte Begriffe
Mehr dazu bei GEO-Score
Wie schlägt sich Ihre Seite in der KI-Suche?
GEO-Score prüft eine Seite anhand von 22 Signalen, vom Zugang für KI-Crawler bis zu strukturierten Daten, und zeigt, was Sie zuerst beheben sollten.
Seite analysieren