Mitä tekemistä robots.txt:llä on sivustokarttasi kanssa
robots.txt on ensimmäinen tiedosto, jota indeksoija pyytää. Ennen kuin se hakee yhtäkään sivua, hyvin käyttäytyvä botti pyytää osoitteen yourstore.com/robots.txt selvittääkseen, mitä polkuja se saa käydä. Se on tavallinen tekstitiedosto verkkotunnuksesi juuressa, ja kuka tahansa voi lukea sen.
Allow- ja Disallow-sääntöjensä lisäksi robots.txt tukee Sitemap:-direktiiviä — riviä, joka sisältää sivustokarttasi täydellisen URL-osoitteen. Se on standardi, indeksoijasta riippumaton tapa sanoa "tämän sivuston indeksi löytyy täältä", jotta botin ei tarvitse arvata URL-osoitetta tai odottaa, että lähetät sen jonnekin. Google, Bing ja kaikki tekoälyindeksoijat ymmärtävät sen.
Tämä sivu käsittelee vain tätä Sitemap:-riviä. Jos haluat laajemman kuvan siitä, miten hallitset, mitkä tekoälyindeksoijat pääsevät sisältöösi, oppaamme robots.txt tekoälyboteille käsittelee user-agent-säännöt yksityiskohtaisesti.
Hyviä uutisia: se on jo siellä oletuksena
Shopify luo robots.txt-tiedoston automaattisesti, ja oletustiedosto päättyy jo Sitemap:-riviin, joka osoittaa kauppasi sitemap.xml-tiedostoon. Sinun ei tarvitse lisätä sitä. Valtaosalle kaupoista tällä sivulla ei ole muuta tehtävää kuin vahvistaa, että se on siellä.
Tarkistaaksesi, avaa yourstore.com/robots.txt selaimessasi ja vieritä alas. Etsit riviä, jossa lukee Sitemap: https://yourstore.com/sitemap.xml. Jos se on olemassa, Google, Bing ja jokainen tekoälyindeksoija, joka lukee robots.txt:tä, tietävät jo, missä sivustokarttasi on — teeman muokkausta ei tarvita.
Milloin kannattaa lisätä ylimääräinen sivustokartta
Tähän tiedostoon koskemiseen on täsmälleen yksi hyvä syy: sinulla on toinen sivustokartta, jota Shopifyn oma sivustokartta ei kata. Käytännössä tämä tarkoittaa sovellusta — blogialustaa, headless-sisältöjärjestelmää, tukikeskusta tai arvostelutyökalua — joka luo oman sivustokarttansa URL-osoitteessa, josta Shopify ei tiedä mitään.
Ole selvillä siitä, mitä voit ja et voi muuttaa. Et voi poistaa tai kirjoittaa uudelleen Shopifyn automaattista Sitemap:-riviä; virallinen malli säilyttää sen tarkoituksella. Voit lisätä lisää Sitemap:-rivejä sen rinnalle. Jos Shopifyn sivustokartta jo kattaa kaiken, mitä julkaiset, oikea ratkaisu on jättää tiedosto rauhaan.
Ylimääräisen sivustokartan lisääminen robots.txt.liquidilla
Neljä vaihetta teeman koodieditorissa. Työskentele live-teemassasi ja lue vaihe 3 ennen kuin tallennat mitään.
Avaa teemasi koodieditori
Siirry Shopify-hallintapaneelissasi kohtaan Verkkokauppa > Teemat. Etsi live, julkaistu teemasi — ei kaksoiskappaletta tai julkaisematonta luonnosta — klikkaa sen ⋯-valikkoa ja valitse Muokkaa koodia.
Lisää uusi robots.txt.liquid-malli
Avaa vasemmalla olevassa tiedostoselaimessa Templates-kansio ja luo uusi tiedosto nimeltä täsmälleen robots.txt.liquid. Käytä "Lisää uusi malli" -toimintoa ja valitse tyyppilistasta robots.txt, tai napsauta kansiota hiiren oikealla painikkeella ja valitse Uusi tiedosto. Tiedostonimen täytyy täsmätä tarkalleen, eikä se voi olla JSON-malli. Shopify ei sisällytä tätä tiedostoa oletuksena, koska automaattinen robots.txt tekee jo oikean asian useimmille kaupoille.
Liitä oletussääntöjen silmukka ja lisää sitten ylimääräinen sivustokarttasi
Uusi tiedosto on aluksi tyhjä, ja tyhjä robots.txt.liquid korvaa Shopifyn oletukset kokonaan — mikä hylkäisi jokaisen säännön, jonka Shopify normaalisti luo, mukaan lukien sen oman Sitemap:-rivin. Liitä siis ensin Shopifyn virallinen oletusmalli täsmälleen alla näytetyllä tavalla, ja lisää vasta sen jälkeen ylimääräinen Sitemap:-rivisi sen alle.
Tallenna
Klikkaa Tallenna koodieditorin oikeassa yläkulmassa. Muutos tulee heti voimaan julkaistussa teemassasi. Lataa yourstore.com/robots.txt uudelleen ja vahvista, että molemmat Sitemap:-rivit ovat olemassa, ennen kuin pidät sitä valmiina.
{% for group in robots.default_groups %}
{{- group.user_agent -}}
{% for rule in group.rules %}
{{- rule -}}
{% endfor %}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
{% comment %} Add an extra sitemap URL, e.g. one generated by an app {% endcomment %}
Sitemap: https://yourstore.com/sitemap_apps.xml
Ennen muokkaamista: kolme asiaa, jotka kannattaa tietää
Shopify pitää robots.txt.liquidin muokkaamista ei-tuettuna mukautuksena. Shopifyn tuki ei vianetsi sitä puolestasi, ja väärin tekeminen — ylimääräinen Disallow, puuttuva silmukka — voi estää indeksoijia pääsemästä osiin kaupastasi ja maksaa sinulle liikennettä. Jos et ole varma Liquidin lukemisesta ja muokkaamisesta, anna kehittäjän tehdä muutos.
Jos olet aiemmin mukauttanut robots.txt-tiedostoa kolmannen osapuolen kiertotien kautta, useimmiten Cloudflare-säännön tai workerin avulla, poista se ensin. Kaksi järjestelmää, jotka molemmat yrittävät hallita samaa tiedostoa, tuottavat ristiriitaista tai virheellistä tulosta.
Kun olet tallentanut, testaa tulos. Avaa yourstore.com/robots.txt ja lue se alusta loppuun, aja se sitten Googlen robots.txt-testaustyökalun läpi Search Consolessa vahvistaaksesi, ettei mitään tärkeää ole estetty.
Täytyykö minun lisätä Sitemap:-rivi manuaalisesti Shopify robots.txt -tiedostooni?
▼
Voinko poistaa tai muuttaa Shopifyn automaattista Sitemap:-riviä?
▼
Rikkooko robots.txt.liquidin muokkaaminen hakukoneoptimointini?
▼
Entä jos olen jo mukauttanut robots.txt-tiedostoa sovelluksella, kuten Cloudflarella?
▼
Mihin seuraavaksi
robots.txt ohjaa indeksoijat sivustokarttaan. Nämä oppaat käsittelevät molemmat puolet tästä rivistä:
- Kuinka luoda sivustokartta Shopifyssa — missä automaattinen sitemap.xml sijaitsee, mitä se sisältää ja kuinka lähetät sen Google Search Consoleen.
- robots.txt tekoälyboteille — mitkä tekoälyindeksoijat kannattaa sallia tai estää, ja mitä kukin user-agent oikeastaan tekee.
Katso, kuinka tekoälyllä löydettävissä Shopify-kauppasi todella on
robots.txt ja sivustokarttasi ohjaavat indeksoijat sivuillesi. Se, mitä tapahtuu seuraavaksi, riippuu siitä, mitä ne sieltä löytävät. Suorita GEO-analyysi millä tahansa kauppasi URL-osoitteella ja näe kaikki 22 tarkistuspistettä.
Analysoi kaupan sivu