Oma tutkimus
Kuinka moni sivusto estää tekoälyrobotit?
20. lokakuuta 2026 suosituimmista 10 000 sivustosta 11,7 % esti robots.txt-säännöllä OpenAI:n koulutusbotin GPTBotin pääsyn etusivulle. ChatGPT-haun botin esti harvempi: 6,3 % esti säännöllä OAI-SearchBotin. Lisäksi 1,1 % vastasi virheellä robots.txt-tiedoston sijaan. Se on todennäköisemmin palvelinongelma kuin valinta, mutta sekin pitää botit poissa.
Mitattu 20. lokakuuta 2026
- top 10 000 -sivustoista estää GPTBotin robots.txt-säännöllä
- 11,7 %
- estää OAI-SearchBotin säännöllä (ChatGPT-haku)
- 6,3 %
- tarjoaa tekstitiedoston osoitteessa /llms.txt
- 13,4 %
Mitä testasimme
Lähes jokaisella sivustolla on pieni tiedosto nimeltä robots.txt. Se kertoo boteille, millä sivuilla ne saavat käydä. Tekoälyyhtiöt sanovat, että niiden botit lukevat sen, joten sillä sivusto sanoo niille kyllä tai ei.
Haimme tiedoston jokaiselta otoksen sivustolta ja luimme sen niin kuin virallinen standardi (RFC 9309) boteilta vaatii. Jokaisesta tekoälybotista kysyimme yhden asian: saako se avata etusivun?
Tiedosto voi sanoa ei kahdella tavalla: säännöllä, joka mainitsee botin nimeltä, tai kaikkia botteja koskevalla säännöllä (User-agent: *). Ja jos tiedosto itse antaa palvelinvirheen, standardin mukaan bottien on pysyttävä kokonaan poissa. Laskemme kaikki kolme ja näytämme ne erikseen.
Mitkä tekoälybotit estetään, ja missä
Jokainen taulukko näyttää boteittain, kuinka suuren osan sivustoista robots.txt pitää botin poissa etusivulta. Suositut sivustot estävät tekoälybotteja noin kolme kertaa niin usein kuin hakemiston hollannin- ja saksankieliset sivustot. Suosituilla sivustoilla koulutusbotteja estetään useammin kuin botteja, jotka hakevat sivuja tekoälyhakua varten.
| Botti | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| GPTBot | 12,9 %11,1 %–14,9 % | 10,8 %9,2 %–12,6 % | 12,6 %10,9 %–14,6 % | 3,6 %2,8 %–4,7 % | 3,8 %3 %–5 % |
| ClaudeBot | 12,6 %10,9 %–14,6 % | 9,1 %7,6 %–10,8 % | 12,2 %10,6 %–14,2 % | 3,7 %2,8 %–4,8 % | 3,1 %2,3 %–4,1 % |
| CCBot | 14 %12,2 %–16,1 % | 9,6 %8,1 %–11,4 % | 9,6 %8,1 %–11,3 % | 3,3 %2,5 %–4,3 % | 3,3 %2,5 %–4,3 % |
| Google-Extended | 11,1 %9,4 %–13 % | 7,7 %6,4 %–9,3 % | 11,1 %9,5 %–13 % | 2,9 %2,2 %–3,9 % | 3 %2,2 %–4 % |
| Applebot-Extended | 11,2 %9,6 %–13,1 % | 8,1 %6,7 %–9,7 % | 11,2 %9,6 %–13,1 % | 2,6 %1,9 %–3,6 % | 2,9 %2,2 %–3,9 % |
| meta-externalagent | 10,9 %9,3 %–12,8 % | 8,4 %7 %–10,1 % | 11,2 %9,6 %–13,1 % | 3,1 %2,3 %–4,2 % | 3,6 %2,8 %–4,7 % |
| Bytespider | 13,7 %11,9 %–15,7 % | 9,8 %8,3 %–11,5 % | 9,1 %7,6 %–10,8 % | 4,1 %3,1 %–5,2 % | 3,6 %2,8 %–4,7 % |
| Amazonbot | 10,8 %9,1 %–12,6 % | 8,1 %6,7 %–9,7 % | 12,1 %10,4 %–14 % | 3,8 %2,9 %–4,9 % | 3 %2,2 %–4 % |
| Mukana olevat sivustot (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Botti | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| OAI-SearchBot | 7,4 %6,1 %–9 % | 4,7 %3,7 %–6 % | 8,4 %7 %–10 % | 2,6 %1,9 %–3,6 % | 2,4 %1,8 %–3,4 % |
| ChatGPT-User | 8,5 %7 %–10,2 % | 6,6 %5,4 %–8,1 % | 9,6 %8,1 %–11,4 % | 3 %2,2 %–4 % | 2,8 %2,1 %–3,8 % |
| Claude-SearchBot | 6,8 %5,5 %–8,3 % | 4,5 %3,5 %–5,8 % | 8,3 %6,9 %–9,9 % | 2,6 %1,9 %–3,5 % | 2,4 %1,8 %–3,4 % |
| Claude-User | 6,7 %5,4 %–8,2 % | 4,6 %3,6 %–5,9 % | 8,3 %6,9 %–9,9 % | 2,4 %1,7 %–3,4 % | 2,4 %1,7 %–3,3 % |
| PerplexityBot | 9,9 %8,3 %–11,7 % | 5,5 %4,4 %–6,9 % | 9,3 %7,8 %–11 % | 2,8 %2 %–3,8 % | 2,7 %1,9 %–3,6 % |
| Perplexity-User | 7,3 %6 %–8,9 % | 4,3 %3,3 %–5,5 % | 8,1 %6,8 %–9,8 % | 2,6 %1,9 %–3,5 % | 2,6 %1,9 %–3,5 % |
| Mukana olevat sivustot (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Botti | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Googlebot | 3,6 %2,7 %–4,8 % | 2,4 %1,7 %–3,4 % | 3,6 %2,7 %–4,8 % | 1,8 %1,2 %–2,6 % | 2,2 %1,5 %–3,1 % |
| bingbot | 3,9 %3 %–5,1 % | 3,3 %2,5 %–4,4 % | 4,5 %3,5 %–5,8 % | 2,4 %1,7 %–3,3 % | 2,4 %1,8 %–3,4 % |
| Mukana olevat sivustot (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
Jokaisen osuuden alla on sen vaihteluväli: 95 %:n varmuudella todellinen osuus on näiden kahden luvun välissä. Sarakkeet 1-3 ovat suosittuja sivustoja Tranco-listan sijoituksen mukaan, sarakkeet 4-5 hollannin- ja saksankielisiä sivustoja Curlie-hakemistosta.
Miten sivustot sanovat ei
Niistä top 10 000 -sivustoista, jotka sulkevat GPTBotin ulos, 69 % käyttää sääntöä, joka mainitsee GPTBotin nimeltä. Osuudella 22,2 % sen tekee vain kaikkia botteja koskeva sääntö, ehkä ilman että omistaja koskaan ajatteli tekoälyä. Osuudella 8,9 % robots.txt antaa palvelinvirheen, mikä lasketaan täydeksi estoksi.
Tällä on väliä laskiessa. Tarkistus, joka etsii vain botin nimeä, ohittaa toisen ryhmän. Eräs aiempi sivumme nojasi juuri tällaiseen tarkistukseen, joten poistimme sen ja mittasimme uudelleen.
| Botti | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Sääntö, joka mainitsee GPTBotin | 8,9 %7,4 %–10,6 % | 7,6 %6,2 %–9,1 % | 5,4 %4,3 %–6,8 % | 1,4 %0,9 %–2,2 % | 1,6 %1,1 %–2,4 % |
| Vain kaikkia botteja koskeva sääntö (*) | 2,9 %2,1 %–3,9 % | 2,2 %1,5 %–3,2 % | 5,7 %4,5 %–7,1 % | 1,3 %0,8 %–2 % | 1,3 %0,9 %–2,1 % |
| robots.txt antaa palvelinvirheen | 1,1 %0,7 %–1,9 % | 1 %0,6 %–1,7 % | 1,6 %1 %–2,4 % | 0,9 %0,5 %–1,6 % | 0,9 %0,5 %–1,5 % |
| Mukana olevat sivustot (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
Koulutusbotit vastaan hakubotit
OpenAI käyttää kahta bottia. GPTBot kerää sisältöä koulutukseen, OAI-SearchBot etsii sivuja ChatGPT-hakuun. Niistä top 10 000 -sivustoista, jotka estävät GPTBotin, 42,4 % päästää yhä OAI-SearchBotin sisään.
Tähän osuuteen kuuluvat myös sivustot, joiden robots.txt vastasi virheellä, ja ne pitävät myös OAI-SearchBotin ulkona. Sivustoista, joilla on sääntö GPTBotia vastaan, 46,5 % päästää OAI-SearchBotin sisään (kokeileva).
Se näyttää harkitulta valinnalta. OpenAI:n mukaan sivustot, jotka estävät OAI-SearchBotin, eivät näy ChatGPT:n hakuvastauksissa, kun taas pelkkä GPTBotin esto ei vaikuta siihen.
| Botti | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Estää vähintään yhden tekoälybotin | 17,2 %15,2 %–19,4 % | 13,3 %11,5 %–15,3 % | 15,5 %13,6 %–17,6 % | 5,2 %4,2 %–6,5 % | 4,4 %3,5 %–5,6 % |
| Estää jokaisen listamme tekoälybotin | 4,3 %3,3 %–5,6 % | 3,1 %2,3 %–4,2 % | 4 %3,1 %–5,3 % | 2,3 %1,6 %–3,2 % | 2,2 %1,6 %–3,1 % |
| Mukana olevat sivustot (n) | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| Botti | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Päästää yhä OAI-SearchBotin sisään | 42,4 %35 %–50,2 % | 56,2 %47,8 %–64,2 % | 33,8 %26,9 %–41,4 % | 29,4 %18,7 %–43 % | 36,4 %24,9 %–49,6 % |
| GPTBotin estävät sivustot (n) | 158 | 137 | 160 | 51 | 55 |
llms.txt: kenellä se on?
llms.txt-tiedosto on lyhyt Markdown-muotoinen tiivistelmä sivustosta tekoälytyökaluille. Se on ehdotus, ei standardi. Googlen mukaan Google-haku ei huomioi sitä. Lue lisää llms.txt-oppaastamme tai tarkista oma tiedostosi llms.txt-tarkistimellamme.
Top 10 000 -sivustoista 13,4 % tarjoaa tekstitiedoston osoitteessa /llms.txt. Varo jäljitelmiä: 13,2 % vastaa tavallisella verkkosivulla. Tekstitiedostoista 83,8 % läpäisee Chrome Lighthousen llms.txt-perustarkistuksen.
| llms.txt | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Tarjoaa tekstitiedoston osoitteessa /llms.txt | 13,4 %11,6 %–15,5 % | 12,4 %10,6 %–14,4 % | 13,5 %11,7 %–15,6 % | 5,8 %4,7 %–7,2 % | 7,4 %6,1 %–8,9 % |
| Tarjoaa tekstitiedoston, joka läpäisee Lighthousen tarkistuksen | 11,2 %9,5 %–13,2 % | 10,6 %9 %–12,5 % | 11,4 %9,7 %–13,4 % | 5,4 %4,4 %–6,8 % | 7 %5,8 %–8,5 % |
| Palauttaa verkkosivun (ei oikeaa tiedostoa) | 13,2 %11,3 %–15,2 % | 13,5 %11,6 %–15,5 % | 13,9 %12,1 %–16,1 % | 12,7 %11,1 %–14,6 % | 9,6 %8,2 %–11,3 % |
| Vastanneet sivustot (n) | 1 148 | 1 196 | 1 147 | 1 360 | 1 375 |
| llms.txt | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Läpäisee Chrome Lighthousen llms.txt-tarkistuksen | 83,8 %77,1 %–88,8 % | 85,8 %79,3 %–90,5 % | 84,5 %78 %–89,4 % | 93,7 %86 %–97,3 % | 94,1 %87,8 %–97,3 % |
| Noudattaa llmstxt.org-muotoa ilman virheitä | 49,4 %41,6 %–57,2 % | 48,6 %40,7 %–56,6 % | 27,7 %21,3 %–35,3 % | 54,4 %43,5 %–65 % | 55,9 %46,2 %–65,1 % |
| Sivustot, joilla on tekstitiedosto (n) | 154 | 148 | 155 | 79 | 102 |
Useimmat llmstxt.org-muotoa rikkovat tiedostot luettelevat sivuja ilman linkkiä tai eivät ala otsikkorivillä. Jotkin "tiedostot" ovat pelkkä virheilmoitus tai sana ok.
Muut tutkimukset saavat eri lukuja, koska ne laskevat eri tavalla. Web Almanac 2025 löysi kelvollisen llms.txt-tiedoston noin 2,1 %:lta kaikista indeksoimistaan sivustoista. Ahrefs (toimittajan data) laski 28 % omien analytiikka-asiakkaidensa 137 210 verkkotunnuksesta, omien sanojensa mukaan yläraja, ja havaitsi, että 97 % tiedostoista ei saanut yhtään pyyntöä toukokuussa 2026. SE Ranking (toimittajan data) löysi llms.txt-tiedoston 10 %:lta noin 300 000 verkkotunnuksesta.
Mitä tämä ei todista
- robots.txt on pyyntö, ei lukko. Monet sivustot pysäyttävät botteja myös palomuurilla tai CDN-asetuksella. Luemme vain sen, mitä tiedostossa lukee.
- Emme ole GPTBot. Sivusto voi vastata tekoälyboteille eri tavalla kuin meidän botillemme, ja jotkin sivustot estävät tuntemattomat botit kokonaan.
- Tarkistimme vain pääsyn etusivulle. Sivusto voi sallia etusivun ja estää kaiken muun.
- Tämä on yhden päivän tilannekuva. Se ei näytä trendiä. Sivustot muuttavat tiedostojaan jatkuvasti.
- Se ei kerro, muuttaako esto (tai llms.txt) sitä, kuinka usein tekoälytyökalut näyttävät tai lainaavat sivustoa.
Näin teimme sen
Poimimme satunnaisesti 1 500 sivustoa jokaisesta viidestä ryhmästä: kolme sijoitusväliä suosittujen sivustojen Tranco-listalta 467YX (sijat 1-10 000, 10 001-100 000 ja 100 001-1 000 000) sekä Curlie-hakemiston hollannin- ja saksankieliset osiot (47 502 ja 309 045 sivustoa, jotka on listattu etusivullaan). Kiinteän satunnaissiemenen ansiosta kuka tahansa samoilla kahdella tiedostolla saa täsmälleen samat sivustot.
Yksi tietokone Alankomaissa, tavallisella kotiyhteydellä, kävi kaikilla sivustoilla noin 25 minuutissa. Se esittäytyi rehellisesti nimellä GEOScoreBot/1.0 (+https://geo-score.online), piti taukoja saman sivuston pyyntöjen välillä ja haki vain sen, minkä robots.txt salli.
Luimme jokaisen robots.txt-tiedoston RFC 9309 -jäsentimellämme, samalla jota tekoälyrobottitarkistimemme käyttää. Botin omalla nimellä merkitty ryhmä menee kaikkia botteja koskevan säännön edelle. Ei robots.txt-tiedostoa lainkaan (4xx-vastaus) tarkoittaa, että kaikki botit saavat tulla. Palvelinvirhe (5xx) tarkoittaa, ettei mikään botti saa tulla. RFC 9309 laskee 429:n (liikaa pyyntöjä) 4xx-vastauksiin, joten botit saisivat tulla, mutta Google ja Lighthouse tulkitsevat sen kielloksi, ja niin mekin. Sivustot, jotka eivät vastanneet ollenkaan (ei DNS:ää tai yhteyttä), on jätetty osuuksien ulkopuolelle. Standardin mukaan botit eivät silloinkaan saisi tulla, mutta sellainen virhe ei kerro mitään siitä, mitä sivusto haluaa.
Sivun yläosan luvut laskevat vain robots.txt-säännöt: säännön, joka nimeää botin, tai kaikkia botteja koskevan säännön. Lisäsimme tämän jaon vasta menetelmämme rekisteröinnin jälkeen, joten se on kokeileva. Taulukot pitävät kiinni rekisteröidystä mittarista, joka laskee myös virhevastauksen estoksi.
Kirjoitimme kysymykset, otoksen ja jokaisen mittarin ylös ennen haun alkua ja tallensimme suunnitelman. Kaikki, mitä päätimme vasta datan nähtyämme, on merkitty kokeilevaksi.
| Vaihe | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Poimitut sivustot | 1 500 | 1 500 | 1 500 | 1 500 | 1 500 |
| Ei vastausta lainkaan (ei sivustoa, DNS- tai yhteysvirhe) | 273 | 230 | 234 | 97 | 70 |
| robots.txt vastasi: mukana osuuksissa | 1 227 | 1 270 | 1 266 | 1 403 | 1 430 |
| … oikea robots.txt-tiedosto | 897 | 913 | 898 | 1 012 | 1 014 |
| … verkkosivu robots.txt-tiedoston sijaan | 91 | 84 | 87 | 115 | 80 |
| … ei robots.txt-tiedostoa (4xx) | 225 | 260 | 261 | 263 | 323 |
| … palvelinvirhe (429 tai 5xx) | 14 | 13 | 20 | 13 | 13 |
| Etusivu aukesi botillemme normaalisti | 922 | 1 017 | 983 | 1 311 | 1 350 |
| Etusivu torjui bottimme (401, 403 tai 429) | 175 | 147 | 113 | 35 | 16 |
| Etusivu antoi muun vastauksen tai epäonnistui | 68 | 59 | 73 | 25 | 29 |
| Etusivulla ei käyty: robots.txt sanoi meille ei | 62 | 47 | 97 | 32 | 35 |
Etusivu, joka torjuu bottimme, on bottisuojaus, ei robots.txt-sääntö. Emme koskaan laske sitä "estää tekoälyn" -tapaukseksi.
RFC 9309, robots.txt-standardiMuita tutkimuksia samasta aiheesta
Web Almanac 2025 (HTTP Archive) löysi GPTBotin nimeltä mainittuna robots.txt-tiedostossa 4,5 %:lla työpöytäsivustoista, miljoonien sivustojen joukossa. Top 10 000 -otoksessamme 12,6 % tiedostoista mainitsee GPTBotin. Botin mainitseminen ei ole sama asia kuin sen estäminen: jotkin tiedostot mainitsevat botin salliakseen sen.
Cloudflare Radar tarkistaa joka viikko 10 000 suosituimman verkkotunnuksen robots.txt-tiedostot ja laskee säännöt, jotka mainitsevat kunkin tekoälybotin nimeltä (toimittajan data). Me laskemme myös kaikkia botteja koskevan säännön ja palvelinvirheet, ja katsomme top 10 000:ta pidemmälle.
Longpren ja muiden vuoden 2024 tutkimus Consent in Crisis seurasi noin 14 000 verkkotunnusta suurten tekoälyn koulutusaineistojen takana. Sen mukaan tekoälyrobotteja koskevat rajoitukset lisääntyivät jyrkästi vuosina 2023 ja 2024.
Tarkista oma sivustosi
Nämä ovat keskiarvoja. Oma sivustosi on joko mukana tai ei. Ilmaiset työkalumme tarkistavat sen sekunneissa.
Lataa data
Jokainen tämän sivun luku on CSV-tiedostossa, yksi rivi lukua kohti, määrän, perusjoukon ja 95 %:n vaihteluvälin kanssa. Siinä on vain yhteismääriä, ei sivustojen nimiä.
Lataa luvut (CSV)Voit käyttää lukuja uudelleen CC BY 4.0 -lisenssillä. Mainitse GEO-Score ja linkitä tälle sivulle.
Sivustolistojen lähteet
Suositut sivustot: Tranco-lista 467YX (Le Pochat ym., NDSS 2019).
Hollannin- ja saksankieliset sivustot: sisältöä lähteestä Curlie.org - verkon suurin ihmisten toimittama hakemisto. Osallistu lähettämällä sivusto tai ryhtymällä toimittajaksi. Curlie-datan lisenssi on CC BY 3.0.
20. lokakuuta 2026: ensimmäinen mittaus julkaistu.