llms.txt selitettynä: mikä se on ja tarvitsetko sen
llms.txt on ehdotettu markdown-tiedosto sivustosi juuressa, joka antaa tekoälyjärjestelmille lyhyen, kuratoidun yhteenvedon tärkeimmästä sisällöstäsi, samassa hengessä kuin robots.txt tai sitemap.xml, mutta kielimalleille.
Jeremy Howardin (Answer.AI) syyskuussa 2024 ehdottama llms.txt on tänään aidosti mutta rajallisesti käytössä: tuhannet sivustot julkaisevat sellaisen, ja OpenAI, Anthropic ja Google julkaisevat tiedostoja omalle kehittäjädokumentaatiolleen, mutta se ei vielä ole vaatimus, jota mikään suuri tekoälyrobotti todistetusti noudattaa.
Pisteytä sivusiMikä on llms.txt?
llms.txt on ehdotettu standardi tavalliselle markdown-tiedostolle, joka sijoitetaan osoitteeseen /llms.txt sivuston juureen (tai mihin tahansa alipolkuun) ja joka antaa tekoälyagentille lyhyen, jäsennellyn yleiskuvan sivustosta tai sen osasta: mikä sivusto on, ja kuratoidun listan linkkejä lukemisen arvoisiin sivuihin. Idea ratkaisee todellisen ongelman: tavallinen HTML-sivu on rakennettu ihmisille, kääritty navigaatioon, mainoksiin ja JavaScriptiin, ja sen muuttaminen takaisin puhtaaksi tekstiksi, jota tekoälymalli voi käyttää tehokkaasti, on tuhlaavaa ja epätarkkaa.
Se noudattaa robots.txt:n ja sitemap.xml:n nimeämiskäytäntöä, kiinteä tiedostonimi ennustettavassa paikassa, mutta hoitaa eri tehtävän kuin kumpikaan niistä. robots.txt kertoo automatisoiduille työkaluille, mihin niillä on lupa päästä käsiksi. sitemap.xml listaa jokaisen indeksoitavan sivun hakukoneille. llms.txt tarjoaa sen sijaan lyhyen, kuratoidun, sekä ihmisille että koneille luettavan yhteenvedon, joka on tarkoitus lukea tarvittaessa, kun tekoälyagentin täytyy ymmärtää sivusto tai löytää siitä jotain tiettyä, ei roskoida kokonaisuudessaan.
Käyttöönotto on aitoa, mutta ei universaalia, ja on tärkeää olla tarkka siitä, millaista käyttöönottoa todella on. Tuhannet sivustot julkaisevat nyt llms.txt-tiedoston, jotkin dokumentaatioalustat luovat sellaisen automaattisesti, ja Chromen Lighthouse-työkalu tarkistaa sen olemassaolon osana agenttisen selailun tarkistuksiaan. OpenAI, Anthropic ja Google Gemini julkaisevat kaikki llms.txt-tiedostoja omalle kehittäjädokumentaatiolleen. Se, mitä ei vielä ole vahvistettu, on, että yleiskäyttöiset tekoälyrobotit, joita käytetään jokapäiväiseen selailuun ja koulutukseen, GPTBot, ClaudeBot, PerplexityBot ja vastaavat, todella hakevat ja priorisoivat llms.txt-sisältöä samalla tavalla kuin hakukoneet luotettavasti noudattavat robots.txt:tä. Selkeimmin vahvistettu käyttötapaus tänään on koodausagentit ja dokumentaatiotyökalut, jotka todella noudattavat llms.txt-tiedostoja löytääkseen API-viitteitä ja opastuksia.
Mitä llms.txt tekee ja mitä ei
Kuratoitu yhteenveto, ei täydellinen indeksointi
Toisin kuin sitemap.xml, joka listaa kaiken, llms.txt on tarkoitettu sisältämään vain sen, mitä tekoälyagentti todella tarvitsee: lyhyen kuvauksen sekä linkit tärkeimpiin sivuihin.
Ei vahvistettu sijoitus- tai lainaussignaali
Mikään suuri tekoälyyhtiö ei ole vahvistanut, että llms.txt-tiedoston julkaiseminen parantaisi sitä, tuleeko sisältösi lainatuksi. Kohtele sitä mukavuustiedostona agenteille, jotka valitsevat lukea sen, ei itsenäisenä kasvun vipuna.
Täydentää robots.txt:tä ja sitemap.xml:ää, ei korvaa niitä
llms.txt ei korvaa kumpaakaan tiedostoa. robots.txt hallitsee edelleen roskottimien pääsyä, ja sitemap.xml listaa edelleen jokaisen sivun hakukoneille. llms.txt lisää niiden päälle kuratoidun, tekoälylle luettavan kerroksen.
Kannattaako sinun tehdä yksi?
Vähän vaivaa luoda
Minimaalinen llms.txt on lyhyt markdown-tiedosto: otsikko, yhden rivin yhteenveto, ja lista linkkejä tärkeimpiin sivuihisi. Se vie paljon vähemmän aikaa kuin useimmat muut GEO-työt.
Järkevä veto siitä, mihin suuntaan asiat ovat menossa
Käyttöönotto on kasvanut vuoden 2024 ehdotuksesta tuhansiin julkaiseviin sivustoihin ja Chromen Lighthousen tukeen alle kahdessa vuodessa. Sellaisen julkaiseminen nyt maksaa vähän ja asemoi sinut etumatkalle mahdollisesta tulevasta robottituesta.
Vahvin peruste dokumentaatio- ja API-sivustoille
Selkein, vahvistettu käyttötapaus tänään on koodausagentit, jotka lukevat kehittäjädokumentaatiota. Jos ylläpidät dokumentaatiota, API-viitettä, tai kehittäjäportaalia, llms.txt tarjoaa juuri nyt todistetuimman hyödyn.
Luo llms.txt-tiedostosi 3 vaiheessa
Listaa tärkeimmät sivusi
Valitse sivut, jotka haluaisit tekoälyagentin lukevan ensin: etusivusi, tärkeät tuote- tai dokumentaatiosivut, ja mitä tahansa, joka selittää mitä teet.
Kirjoita tiedosto
Aloita H1-otsikolla ja yhden rivin blockquote-yhteenvedolla, lisää sitten markdown-linkkilista yhden tai useamman H2-osion alle. Pidä se lyhyenä. Koko pointti on, että se mahtuu helposti mallin kontekstiin.
Julkaise osoitteessa /llms.txt ja tarkista GEO-pistemääräsi uudelleen
Sijoita tiedosto sivustosi juureen. Varmista sitten, että sivut, joihin se linkittää, ovat itsekin indeksoitavia, hyvin jäsenneltyjä ja lainattavia. llms.txt vain ohjaa agentin sisältösi luo, se ei korjaa sitä, mitä sisällöstä puuttuu.
llms.txt — usein kysytyt kysymykset
Mikä on llms.txt?
llms.txt on ehdotettu markdown-tiedosto, joka sijoitetaan sivuston juureen (/llms.txt) ja joka antaa tekoälyagenteille lyhyen, kuratoidun yhteenvedon sivustosta sekä linkit sen tärkeimpiin sivuihin. Sen ehdotti Jeremy Howard Answer.AI:sta syyskuussa 2024.
Käyttävätkö ChatGPT, Claude ja Perplexity oikeasti llms.txt:tä?
Ei vahvistettu yleisenä sääntönä. OpenAI, Anthropic ja Google julkaisevat llms.txt-tiedostoja omalle kehittäjädokumentaatiolleen, ja koodausagentit noudattavat luotettavasti llms.txt-tiedostoja löytääkseen API-viitteitä. Mutta mikään suuri tekoälyyhtiö ei ole vahvistanut, että sen yleiskäyttöinen robotti (GPTBot, ClaudeBot, PerplexityBot) hakisi ja priorisoisi minkä tahansa sivuston llms.txt:tä normaalin selailun tai koulutuksen aikana. Kohtele sitä nousevana ja valinnaisena, ei vahvistettuna vaatimuksena.
Miten llms.txt eroaa robots.txt:stä?
robots.txt kertoo roskottimille, mihin niillä on lupa päästä käsiksi, ja on vakiintunut, laajalti kunnioitettu standardi. llms.txt tarjoaa sen sijaan kuratoidun, ihmisille ja tekoälylle luettavan yhteenvedon sivuston tärkeimmästä sisällöstä, tarkoitettu luettavaksi tarvittaessa eikä roskoitavaksi. Ne palvelevat eri tarkoituksia ja on tarkoitus elää rinnakkain.
Eikö tämä ole sama asia kuin sitemap.xml?
Ei. Sivustokartta listaa jokaisen indeksoitavan sivun, lähinnä hakukoneille, ja sisältää harvoin sivujen tekoälyystävällisiä markdown-versioita. llms.txt on tarkoituksella lyhyt ja kuratoitu, kourallinen tärkeimpiä sivuja, ei tyhjentävä lista.
Pitäisikö minun luoda llms.txt-tiedosto sivustolleni?
Se on vähän vaivaa vaativa, matalan riskin lisäys, etenkin jos ylläpidät dokumentaatiota tai API-viitettä, missä vahvistettu käyttötapaus (koodausagentit) on jo olemassa. Yleiselle markkinointisivustolle kohtele sitä pienenä, tulevaisuuteen katsovana lisäyksenä ennemmin kuin prioriteettina indeksoitavuuden, strukturoidun datan ja sisällön selkeyden edellä, joilla on tänään todistettu vaikutus tekoälynäkyvyyteen.
Mitä kelvollisen llms.txt-tiedoston täytyy sisältää?
H1 sivuston tai projektin nimellä on ainoa pakollinen osio. Yleensä sitä seuraa yhden rivin blockquote-yhteenveto, valinnaiset kontekstikappaleet, ja yksi tai useampi H2-otsikoitu osio, joka sisältää markdown-linkkilistan, jossa jokaisella on lyhyt kuvaus.
Tarkista, onko sivustosi valmis tulemaan lainatuksi
llms.txt-tiedosto auttaa vain, jos sen takana olevat sivut ovat todella indeksoitavia ja lainattavia. Pisteytä sivusi ensin 22 mittarilla. Viisi tarkistusta verkkotunnusta kohden on ilmaisia 30 päivän välein.
Pisteytä sivusi