Hva robots.txt har med sitemapen din å gjøre
robots.txt er den første filen en crawler spør etter. Før den henter en eneste side, ber en veloppdragen bot om dinbutikk.com/robots.txt for å finne ut hvilke stier den har lov til å besøke. Det er en enkel tekstfil i roten av domenet ditt, og hvem som helst kan lese den.
Ved siden av Allow- og Disallow-reglene sine, støtter robots.txt et Sitemap:-direktiv – en linje som bærer hele URL-en til sitemapen din. Det er den standardiserte, crawler-uavhengige måten å si "indeksen til dette nettstedet ligger her" på, slik at en bot ikke trenger å gjette seg til URL-en eller vente på at du sender den inn et sted. Google, Bing og AI-crawlerne forstår den alle.
Denne siden handler kun om den Sitemap:-linjen. Hvis du vil ha det større bildet av hvordan du kontrollerer hvilke AI-crawlere som når innholdet ditt, dekker guiden vår om robots.txt for AI-bots brukeragent-reglene i detalj.
Gode nyheter: den er allerede der som standard
Shopify genererer robots.txt automatisk, og standardfilen ender allerede med en Sitemap:-linje som peker til butikkens sitemap.xml. Du trenger ikke legge den til. For det overveldende flertallet av butikker er det ingenting å gjøre på denne siden ut over å bekrefte at den er der.
For å sjekke, åpne dinbutikk.com/robots.txt i nettleseren og bla ned til bunnen. Du leter etter en linje som sier Sitemap: https://dinbutikk.com/sitemap.xml. Hvis den er til stede, vet Google, Bing og hver AI-crawler som leser robots.txt allerede hvor sitemapen din ligger – ingen temaredigering nødvendig.
Når du vil legge til en ekstra sitemap
Det finnes nøyaktig én god grunn til å røre denne filen: du har en ekstra sitemap som Shopifys egen sitemap ikke dekker. I praksis betyr det en app – en bloggplattform, et headless innholdssystem, et hjelpesenter eller et anmeldelsesverktøy – som genererer sin egen sitemap på en URL Shopify ikke vet noe om.
Vær tydelig på hva du kan og ikke kan endre. Du kan ikke fjerne eller skrive om Shopifys automatiske Sitemap:-oppføring; den offisielle malen bevarer den bevisst. Det du kan gjøre, er å legge til flere Sitemap:-linjer ved siden av den. Hvis Shopifys sitemap allerede dekker alt du publiserer, er det riktige valget å la filen være i fred.
Legge til en ekstra sitemap med robots.txt.liquid
Fire steg i temaets kodeeditor. Jobb på det aktive temaet ditt, og les steg 3 før du lagrer noe.
Åpne kodeeditoren for temaet ditt
Gå til Online Store > Themes i Shopify-administrasjonen. Finn det aktive, publiserte temaet ditt – ikke en duplikat eller et upublisert utkast – klikk på ⋯-menyen på det, og velg Edit code.
Legg til en ny robots.txt.liquid-mal
I filutforskeren til venstre åpner du Templates-mappen og oppretter en ny fil med navnet nøyaktig robots.txt.liquid. Bruk "Add a new template" og velg robots.txt fra typelisten, eller høyreklikk mappen og velg New File. Filnavnet må stemme nøyaktig, og det kan ikke være en JSON-mal. Shopify inkluderer ikke denne filen som standard, fordi den automatiske robots.txt-filen allerede gjør det riktige for de fleste butikker.
Lim inn standardregel-løkken, og legg deretter til din ekstra sitemap
Den nye filen starter tom, og en tom robots.txt.liquid erstatter Shopifys standardverdier fullstendig – noe som ville kastet bort hver eneste regel Shopify normalt genererer, inkludert sin egen Sitemap:-linje. Lim derfor inn Shopifys offisielle standardmal først, nøyaktig som vist nedenfor, og legg først deretter til din ekstra Sitemap:-linje under den.
Lagre
Klikk Save øverst til høyre i kodeeditoren. Endringen går live på det publiserte temaet ditt umiddelbart. Last inn dinbutikk.com/robots.txt på nytt, og bekreft at begge Sitemap:-linjene er til stede før du anser det som ferdig.
{% for group in robots.default_groups %}
{{- group.user_agent -}}
{% for rule in group.rules %}
{{- rule -}}
{% endfor %}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
{% comment %} Add an extra sitemap URL, e.g. one generated by an app {% endcomment %}
Sitemap: https://yourstore.com/sitemap_apps.xml
Før du redigerer: tre ting du bør vite
Shopify anser redigering av robots.txt.liquid som en tilpasning uten støtte. Shopify Support vil ikke feilsøke den for deg, og å gjøre det feil – en feilplassert Disallow, en manglende løkke – kan stoppe crawlere fra å nå deler av butikken din og koste deg trafikk. Hvis du ikke er komfortabel med å lese og redigere Liquid, la en utvikler gjøre endringen.
Hvis du tidligere har tilpasset robots.txt gjennom en tredjeparts løsning, som oftest en Cloudflare-regel eller worker, må du fjerne den først. To systemer som begge prøver å kontrollere den samme filen, gir motstridende eller ugyldig resultat.
Etter at du har lagret, test resultatet. Åpne dinbutikk.com/robots.txt og les det fra start til slutt, og kjør det deretter gjennom Googles robots.txt Tester i Search Console for å bekrefte at ingenting du er avhengig av, blir blokkert.
Må jeg manuelt legge til en Sitemap:-linje i Shopify robots.txt?
▼
Kan jeg fjerne eller endre Shopifys automatiske Sitemap:-linje?
▼
Vil redigering av robots.txt.liquid ødelegge SEO-en min?
▼
Hva om jeg allerede har tilpasset robots.txt gjennom en app som Cloudflare?
▼
Hvor du bør gå videre
robots.txt peker crawlere til sitemapen. Disse guidene dekker det som er på begge sider av den linjen:
- Slik lager du en sitemap i Shopify – hvor den automatiske sitemap.xml-en ligger, hva som er i den, og hvordan du sender den inn til Google Search Console.
- robots.txt for AI-bots – hvilke AI-crawlere du bør tillate eller blokkere, og hva hver brukeragent faktisk gjør.
Se hvor AI-oppdagbar Shopify-butikken din egentlig er
robots.txt og sitemapen din får crawlere til sidene dine. Hva som skjer videre, avhenger av hva de finner. Kjør en GEO-analyse på en hvilken som helst butikk-URL og se alle 22 sjekkpunktene.
Analyser en butikkside