llms.txt on ehdotettu markdown-tiedosto sivustosi juuressa, joka antaa tekoälyjärjestelmille lyhyen, kuratoidun yhteenvedon tärkeimmästä sisällöstäsi, samassa hengessä kuin robots.txt tai sitemap.xml, mutta kielimalleille.
Jeremy Howardin (Answer.AI) syyskuussa 2024 ehdottama llms.txt on tänään aidosti mutta rajallisesti käytössä: tuhannet sivustot julkaisevat sellaisen, ja OpenAI, Anthropic ja Google julkaisevat tiedostoja omalle kehittäjädokumentaatiolleen, mutta se ei vielä ole vaatimus, jota mikään suuri tekoälyrobotti todistetusti noudattaa.
Pisteytä sivusillms.txt on ehdotettu standardi tavalliselle markdown-tiedostolle, joka sijoitetaan osoitteeseen /llms.txt sivuston juureen (tai mihin tahansa alipolkuun) ja joka antaa tekoälyagentille lyhyen, jäsennellyn yleiskuvan sivustosta tai sen osasta: mikä sivusto on, ja kuratoidun listan linkkejä lukemisen arvoisiin sivuihin. Idea ratkaisee todellisen ongelman: tavallinen HTML-sivu on rakennettu ihmisille, kääritty navigaatioon, mainoksiin ja JavaScriptiin, ja sen muuttaminen takaisin puhtaaksi tekstiksi, jota tekoälymalli voi käyttää tehokkaasti, on tuhlaavaa ja epätarkkaa.
Se noudattaa robots.txt:n ja sitemap.xml:n nimeämiskäytäntöä, kiinteä tiedostonimi ennustettavassa paikassa, mutta hoitaa eri tehtävän kuin kumpikaan niistä. robots.txt kertoo automatisoiduille työkaluille, mihin niillä on lupa päästä käsiksi. sitemap.xml listaa jokaisen indeksoitavan sivun hakukoneille. llms.txt tarjoaa sen sijaan lyhyen, kuratoidun, sekä ihmisille että koneille luettavan yhteenvedon, joka on tarkoitus lukea tarvittaessa, kun tekoälyagentin täytyy ymmärtää sivusto tai löytää siitä jotain tiettyä, ei roskoida kokonaisuudessaan.
Käyttöönotto on aitoa, mutta ei universaalia, ja on tärkeää olla tarkka siitä, millaista käyttöönottoa todella on. Tuhannet sivustot julkaisevat nyt llms.txt-tiedoston, jotkin dokumentaatioalustat luovat sellaisen automaattisesti, ja Chromen Lighthouse-työkalu tarkistaa sen olemassaolon osana agenttisen selailun tarkistuksiaan. OpenAI, Anthropic ja Google Gemini julkaisevat kaikki llms.txt-tiedostoja omalle kehittäjädokumentaatiolleen. Se, mitä ei vielä ole vahvistettu, on, että yleiskäyttöiset tekoälyrobotit, joita käytetään jokapäiväiseen selailuun ja koulutukseen, GPTBot, ClaudeBot, PerplexityBot ja vastaavat, todella hakevat ja priorisoivat llms.txt-sisältöä samalla tavalla kuin hakukoneet luotettavasti noudattavat robots.txt:tä. Selkeimmin vahvistettu käyttötapaus tänään on koodausagentit ja dokumentaatiotyökalut, jotka todella noudattavat llms.txt-tiedostoja löytääkseen API-viitteitä ja opastuksia.
Toisin kuin sitemap.xml, joka listaa kaiken, llms.txt on tarkoitettu sisältämään vain sen, mitä tekoälyagentti todella tarvitsee: lyhyen kuvauksen sekä linkit tärkeimpiin sivuihin.
Mikään suuri tekoälyyhtiö ei ole vahvistanut, että llms.txt-tiedoston julkaiseminen parantaisi sitä, tuleeko sisältösi lainatuksi. Kohtele sitä mukavuustiedostona agenteille, jotka valitsevat lukea sen, ei itsenäisenä kasvun vipuna.
llms.txt ei korvaa kumpaakaan tiedostoa. robots.txt hallitsee edelleen roskottimien pääsyä, ja sitemap.xml listaa edelleen jokaisen sivun hakukoneille. llms.txt lisää niiden päälle kuratoidun, tekoälylle luettavan kerroksen.
Minimaalinen llms.txt on lyhyt markdown-tiedosto: otsikko, yhden rivin yhteenveto, ja lista linkkejä tärkeimpiin sivuihisi. Se vie paljon vähemmän aikaa kuin useimmat muut GEO-työt.
Käyttöönotto on kasvanut vuoden 2024 ehdotuksesta tuhansiin julkaiseviin sivustoihin ja Chromen Lighthousen tukeen alle kahdessa vuodessa. Sellaisen julkaiseminen nyt maksaa vähän ja asemoi sinut etumatkalle mahdollisesta tulevasta robottituesta.
Selkein, vahvistettu käyttötapaus tänään on koodausagentit, jotka lukevat kehittäjädokumentaatiota. Jos ylläpidät dokumentaatiota, API-viitettä, tai kehittäjäportaalia, llms.txt tarjoaa juuri nyt todistetuimman hyödyn.
Valitse sivut, jotka haluaisit tekoälyagentin lukevan ensin: etusivusi, tärkeät tuote- tai dokumentaatiosivut, ja mitä tahansa, joka selittää mitä teet.
Aloita H1-otsikolla ja yhden rivin blockquote-yhteenvedolla, lisää sitten markdown-linkkilista yhden tai useamman H2-osion alle. Pidä se lyhyenä. Koko pointti on, että se mahtuu helposti mallin kontekstiin.
Sijoita tiedosto sivustosi juureen. Varmista sitten, että sivut, joihin se linkittää, ovat itsekin indeksoitavia, hyvin jäsenneltyjä ja lainattavia. llms.txt vain ohjaa agentin sisältösi luo, se ei korjaa sitä, mitä sisällöstä puuttuu.
llms.txt on ehdotettu markdown-tiedosto, joka sijoitetaan sivuston juureen (/llms.txt) ja joka antaa tekoälyagenteille lyhyen, kuratoidun yhteenvedon sivustosta sekä linkit sen tärkeimpiin sivuihin. Sen ehdotti Jeremy Howard Answer.AI:sta syyskuussa 2024.
Ei vahvistettu yleisenä sääntönä. OpenAI, Anthropic ja Google julkaisevat llms.txt-tiedostoja omalle kehittäjädokumentaatiolleen, ja koodausagentit noudattavat luotettavasti llms.txt-tiedostoja löytääkseen API-viitteitä. Mutta mikään suuri tekoälyyhtiö ei ole vahvistanut, että sen yleiskäyttöinen robotti (GPTBot, ClaudeBot, PerplexityBot) hakisi ja priorisoisi minkä tahansa sivuston llms.txt:tä normaalin selailun tai koulutuksen aikana. Kohtele sitä nousevana ja valinnaisena, ei vahvistettuna vaatimuksena.
robots.txt kertoo roskottimille, mihin niillä on lupa päästä käsiksi, ja on vakiintunut, laajalti kunnioitettu standardi. llms.txt tarjoaa sen sijaan kuratoidun, ihmisille ja tekoälylle luettavan yhteenvedon sivuston tärkeimmästä sisällöstä, tarkoitettu luettavaksi tarvittaessa eikä roskoitavaksi. Ne palvelevat eri tarkoituksia ja on tarkoitus elää rinnakkain.
Ei. Sivustokartta listaa jokaisen indeksoitavan sivun, lähinnä hakukoneille, ja sisältää harvoin sivujen tekoälyystävällisiä markdown-versioita. llms.txt on tarkoituksella lyhyt ja kuratoitu, kourallinen tärkeimpiä sivuja, ei tyhjentävä lista.
Se on vähän vaivaa vaativa, matalan riskin lisäys, etenkin jos ylläpidät dokumentaatiota tai API-viitettä, missä vahvistettu käyttötapaus (koodausagentit) on jo olemassa. Yleiselle markkinointisivustolle kohtele sitä pienenä, tulevaisuuteen katsovana lisäyksenä ennemmin kuin prioriteettina indeksoitavuuden, strukturoidun datan ja sisällön selkeyden edellä, joilla on tänään todistettu vaikutus tekoälynäkyvyyteen.
H1 sivuston tai projektin nimellä on ainoa pakollinen osio. Yleensä sitä seuraa yhden rivin blockquote-yhteenveto, valinnaiset kontekstikappaleet, ja yksi tai useampi H2-otsikoitu osio, joka sisältää markdown-linkkilistan, jossa jokaisella on lyhyt kuvaus.
llms.txt-tiedosto auttaa vain, jos sen takana olevat sivut ovat todella indeksoitavia ja lainattavia. Pisteytä sivusi ensin 22 mittarilla. Viisi tarkistusta verkkotunnusta kohden on ilmaisia 30 päivän välein.
Pisteytä sivusi