Wat robots.txt te maken heeft met je sitemap
robots.txt is het eerste bestand dat een crawler opvraagt. Voordat er ook maar één pagina wordt opgehaald, vraagt een nette bot jouwwinkel.com/robots.txt op om te ontdekken welke paden hij mag bezoeken. Het is een gewoon tekstbestand op de root van je domein, en iedereen kan het lezen.
Naast de Allow- en Disallow-regels ondersteunt robots.txt een Sitemap:-richtlijn — een regel met de volledige URL van je sitemap. Het is de standaard, crawler-onafhankelijke manier om te zeggen "de index van deze site staat hier", zodat een bot de URL niet hoeft te raden of hoeft te wachten tot jij hem ergens indient. Google, Bing en de AI-crawlers begrijpen dit allemaal.
Deze pagina gaat alleen over die Sitemap:-regel. Wil je het bredere plaatje over het regelen welke AI-crawlers bij je content kunnen, dan behandelt onze gids over robots.txt voor AI-bots de user-agent-regels in detail.
Goed nieuws: hij staat er standaard al
Shopify genereert robots.txt automatisch, en het standaardbestand eindigt al met een Sitemap:-regel die naar de sitemap.xml van je winkel wijst. Je hoeft hem niet zelf toe te voegen. Voor de overgrote meerderheid van winkels is er op deze pagina niets te doen behalve bevestigen dat hij er staat.
Om dit te controleren, open je jouwwinkel.com/robots.txt in je browser en scroll je naar beneden. Je zoekt een regel die luidt Sitemap: https://jouwwinkel.com/sitemap.xml. Als die er staat, weten Google, Bing en elke AI-crawler die robots.txt leest al waar je sitemap staat — geen thema-aanpassing nodig.
Wanneer je een extra sitemap zou willen toevoegen
Er is precies één goede reden om dit bestand aan te raken: je hebt een tweede sitemap die de eigen sitemap van Shopify niet dekt. In de praktijk betekent dat een app — een blogplatform, een headless content-systeem, een helpcentrum of reviewtool — die zijn eigen sitemap genereert op een URL waar Shopify niets van weet.
Wees duidelijk over wat je wel en niet kunt veranderen. Je kunt de automatische Sitemap:-vermelding van Shopify niet verwijderen of herschrijven; het officiële template behoudt die bewust. Wat je wel kunt doen, is extra Sitemap:-regels ernaast toevoegen. Als de sitemap van Shopify al alles dekt wat je publiceert, is het beste om het bestand met rust te laten.
Een extra sitemap toevoegen met robots.txt.liquid
Vier stappen in de thema-code-editor. Werk in je live thema en lees stap 3 voordat je iets opslaat.
Open de code-editor van je thema
Ga in je Shopify-admin naar Online Store > Themes. Zoek je live, gepubliceerde thema — niet een duplicaat of een niet-gepubliceerd concept — klik op het ⋯-menu erbij en kies Edit code.
Voeg een nieuw robots.txt.liquid-template toe
Open in de bestandsverkenner links de map Templates en maak een nieuw bestand aan met precies de naam robots.txt.liquid. Gebruik "Add a new template" en kies robots.txt uit de typelijst, of klik met rechts op de map en kies New File. De bestandsnaam moet exact kloppen en het kan geen JSON-template zijn. Shopify voegt dit bestand niet standaard toe, omdat de automatische robots.txt voor de meeste winkels al het juiste doet.
Plak de standaardregels-loop en voeg dan je extra sitemap toe
Het nieuwe bestand begint leeg, en een leeg robots.txt.liquid vervangt de standaardregels van Shopify volledig — waardoor elke regel die Shopify normaal genereert wegvalt, inclusief zijn eigen Sitemap:-regel. Plak daarom eerst Shopify's officiële standaard-template, exact zoals hieronder getoond, en voeg pas daarna je extra Sitemap:-regel eronder toe.
Opslaan
Klik rechtsboven in de code-editor op Save. De wijziging gaat direct live op je gepubliceerde thema. Herlaad jouwwinkel.com/robots.txt en controleer dat beide Sitemap:-regels aanwezig zijn voordat je het als klaar beschouwt.
{% for group in robots.default_groups %}
{{- group.user_agent -}}
{% for rule in group.rules %}
{{- rule -}}
{% endfor %}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
{% comment %} Add an extra sitemap URL, e.g. one generated by an app {% endcomment %}
Sitemap: https://yourstore.com/sitemap_apps.xml
Voordat je bewerkt: drie dingen om te weten
Shopify behandelt het bewerken van robots.txt.liquid als een niet-ondersteunde aanpassing. Shopify Support helpt je er niet mee als het misgaat, en een fout — een verdwaalde Disallow, een ontbrekende loop — kan ervoor zorgen dat crawlers delen van je winkel niet meer bereiken en je verkeer kosten. Ben je niet comfortabel met het lezen en bewerken van Liquid, laat de wijziging dan door een developer doen.
Heb je robots.txt eerder aangepast via een workaround van derden, meestal een Cloudflare-regel of -worker, verwijder die dan eerst. Twee systemen die allebei hetzelfde bestand proberen te beheersen, leveren tegenstrijdige of ongeldige output op.
Test het resultaat nadat je hebt opgeslagen. Open jouwwinkel.com/robots.txt en lees hem helemaal door, en run hem daarna door Google's robots.txt Tester in Search Console om te bevestigen dat niets waar je op vertrouwt geblokkeerd wordt.
Moet ik handmatig een Sitemap:-regel toevoegen aan mijn Shopify robots.txt?
▼
Kan ik de automatische Sitemap:-regel van Shopify verwijderen of wijzigen?
▼
Kan het bewerken van robots.txt.liquid mijn SEO schaden?
▼
Wat als ik robots.txt al heb aangepast via een app zoals Cloudflare?
▼
Waar je hierna heen kunt
robots.txt wijst crawlers naar de sitemap. Deze gidsen behandelen wat er aan beide kanten van die regel gebeurt:
- Hoe je een sitemap maakt in Shopify — waar de automatische sitemap.xml staat, wat erin zit en hoe je hem indient bij Google Search Console.
- robots.txt voor AI-bots — welke AI-crawlers je toestaat of blokkeert, en wat elke user-agent precies doet.
Ontdek hoe vindbaar je Shopify-winkel echt is voor AI
robots.txt en je sitemap brengen crawlers naar je pagina's. Wat er daarna gebeurt, hangt af van wat ze daar aantreffen. Voer een GEO-analyse uit op een willekeurige winkel-URL en bekijk alle 22 checkpoints.
Analyseer een winkelpagina