Was robots.txt mit Ihrer Sitemap zu tun hat
robots.txt ist die erste Datei, die ein Crawler abfragt. Bevor ein regelkonformer Bot auch nur eine Seite lädt, fragt er ihrshop.de/robots.txt ab, um herauszufinden, welche Pfade er besuchen darf. Es ist eine einfache Textdatei im Stammverzeichnis Ihrer Domain, die jeder lesen kann.
Neben Allow- und Disallow-Regeln unterstützt robots.txt eine Sitemap:-Direktive – eine Zeile mit der vollständigen URL Ihrer Sitemap. Das ist die standardisierte, crawler-unabhängige Art zu sagen „der Index dieser Website liegt hier“, sodass ein Bot die URL nicht raten muss oder darauf warten, dass Sie sie irgendwo einreichen. Google, Bing und die KI-Crawler verstehen sie alle.
Auf dieser Seite geht es nur um diese Sitemap:-Zeile. Wenn Sie das größere Bild sehen wollen, wie Sie steuern, welche KI-Crawler auf Ihre Inhalte zugreifen, behandelt unser Leitfaden zu robots.txt für KI-Bots die User-Agent-Regeln im Detail.
Gute Nachricht: Sie ist standardmäßig schon da
Shopify generiert robots.txt automatisch, und die Standarddatei endet bereits mit einer Sitemap:-Zeile, die auf die sitemap.xml Ihres Shops verweist. Sie müssen sie nicht selbst hinzufügen. Für die überwiegende Mehrheit der Shops gibt es hier nichts zu tun, außer zu prüfen, dass sie da ist.
Öffnen Sie zur Prüfung ihrshop.de/robots.txt in Ihrem Browser und scrollen Sie ganz nach unten. Gesucht wird eine Zeile mit dem Inhalt Sitemap: https://ihrshop.de/sitemap.xml. Ist sie vorhanden, wissen Google, Bing und jeder KI-Crawler, der robots.txt liest, bereits, wo Ihre Sitemap liegt – keine Theme-Bearbeitung nötig.
Wann Sie eine zusätzliche Sitemap hinzufügen sollten
Es gibt genau einen guten Grund, diese Datei anzufassen: Sie haben eine zweite Sitemap, die Shopifys eigene Sitemap nicht abdeckt. In der Praxis bedeutet das meist eine App – eine Blog-Plattform, ein Headless-CMS, ein Helpcenter oder ein Bewertungstool –, die ihre eigene Sitemap unter einer URL generiert, von der Shopify nichts weiß.
Machen Sie sich klar, was Sie ändern können und was nicht. Sie können Shopifys automatischen Sitemap:-Eintrag nicht entfernen oder umschreiben; die offizielle Vorlage erhält ihn absichtlich. Was Sie tun können, ist, weitere Sitemap:-Zeilen daneben hinzuzufügen. Deckt Shopifys Sitemap bereits alles ab, was Sie veröffentlichen, ist es die richtige Wahl, die Datei in Ruhe zu lassen.
Eine zusätzliche Sitemap mit robots.txt.liquid hinzufügen
Vier Schritte im Theme-Code-Editor. Arbeiten Sie an Ihrem Live-Theme und lesen Sie Schritt 3, bevor Sie etwas speichern.
Öffnen Sie den Code-Editor Ihres Themes
Gehen Sie in Ihrem Shopify-Admin zu Onlineshop > Themes. Suchen Sie Ihr live veröffentlichtes Theme – nicht ein Duplikat oder einen unveröffentlichten Entwurf –, klicken Sie auf das ⋯-Menü und wählen Sie Code bearbeiten.
Fügen Sie eine neue robots.txt.liquid-Vorlage hinzu
Öffnen Sie im Dateibrowser links den Ordner Templates und erstellen Sie eine neue Datei mit genau dem Namen robots.txt.liquid. Nutzen Sie „Neue Vorlage hinzufügen“ und wählen Sie robots.txt aus der Typenliste, oder klicken Sie mit der rechten Maustaste auf den Ordner und wählen Sie Neue Datei. Der Dateiname muss exakt übereinstimmen und darf keine JSON-Vorlage sein. Shopify legt diese Datei nicht standardmäßig an, weil die automatische robots.txt für die meisten Shops bereits das Richtige tut.
Fügen Sie die Standard-Regel-Schleife ein und dann Ihre zusätzliche Sitemap
Die neue Datei ist zunächst leer, und eine leere robots.txt.liquid ersetzt Shopifys Standardregeln vollständig – das würde jede Regel verwerfen, die Shopify normalerweise generiert, einschließlich der eigenen Sitemap:-Zeile. Fügen Sie deshalb zuerst Shopifys offizielle Standardvorlage ein, genau wie unten gezeigt, und erst danach Ihre zusätzliche Sitemap:-Zeile darunter.
Speichern
Klicken Sie oben rechts im Code-Editor auf Speichern. Die Änderung ist sofort auf Ihrem veröffentlichten Theme live. Laden Sie ihrshop.de/robots.txt neu und bestätigen Sie, dass beide Sitemap:-Zeilen vorhanden sind, bevor Sie den Vorgang als abgeschlossen betrachten.
{% for group in robots.default_groups %}
{{- group.user_agent -}}
{% for rule in group.rules %}
{{- rule -}}
{% endfor %}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
{% comment %} Add an extra sitemap URL, e.g. one generated by an app {% endcomment %}
Sitemap: https://yourstore.com/sitemap_apps.xml
Bevor Sie bearbeiten: Drei Dinge, die Sie wissen sollten
Shopify betrachtet die Bearbeitung von robots.txt.liquid als nicht unterstützte Anpassung. Der Shopify-Support hilft Ihnen dabei nicht bei der Fehlersuche, und ein Fehler – ein versehentliches Disallow, eine fehlende Schleife – kann Crawler daran hindern, Teile Ihres Shops zu erreichen, und Sie Traffic kosten. Wenn Sie sich nicht sicher fühlen, Liquid zu lesen und zu bearbeiten, lassen Sie die Änderung von einem Entwickler vornehmen.
Wenn Sie robots.txt zuvor bereits über einen Drittanbieter-Workaround angepasst haben, meist eine Cloudflare-Regel oder einen Worker, entfernen Sie diesen zuerst. Wenn zwei Systeme dieselbe Datei kontrollieren wollen, entstehen widersprüchliche oder ungültige Ergebnisse.
Testen Sie das Ergebnis, nachdem Sie gespeichert haben. Öffnen Sie ihrshop.de/robots.txt, lesen Sie sie vollständig durch, und prüfen Sie sie anschließend mit Googles robots.txt-Tester in der Search Console, um zu bestätigen, dass nichts blockiert wird, worauf Sie angewiesen sind.
Muss ich meiner Shopify-robots.txt manuell eine Sitemap:-Zeile hinzufügen?
▼
Kann ich Shopifys automatische Sitemap:-Zeile entfernen oder ändern?
▼
Kann die Bearbeitung von robots.txt.liquid meine SEO beschädigen?
▼
Was, wenn ich robots.txt bereits über eine App wie Cloudflare angepasst habe?
▼
Wie geht es weiter
robots.txt verweist Crawler auf die Sitemap. Diese Leitfäden decken ab, was auf beiden Seiten dieser Zeile steht:
- Eine Sitemap in Shopify erstellen – wo die automatische sitemap.xml liegt, was drinsteht und wie Sie sie bei der Google Search Console einreichen.
- robots.txt für KI-Bots – welche KI-Crawler Sie zulassen oder blockieren sollten, und was jeder User-Agent tatsächlich macht.
Finden Sie heraus, wie gut Ihr Shopify-Shop für KI wirklich auffindbar ist
robots.txt und Ihre Sitemap bringen Crawler zu Ihren Seiten. Was danach passiert, hängt davon ab, was sie dort vorfinden. Führen Sie eine GEO-Analyse für eine beliebige Shop-URL durch und sehen Sie alle 22 Prüfpunkte.
Shop-Seite analysieren