Oma tutkimus
Mitä tekoälyrobotit menettävät, kun ne ohittavat JavaScriptin?
Latasimme jokaisen etusivun, joka antoi botillemme HTML:ää, kahdesti: pelkkänä HTML:nä ja JavaScriptin kanssa. 20. lokakuuta 2026 rakenteinen data riippui tuskin koskaan JavaScriptistä: vain 1,3 % näistä suosituimpien 10 000 sivuston etusivuista sai JSON-LD:nsä JavaScriptin kautta. Tekstin kanssa tilanne on toinen. 26,4 % niistä on sellaisia, joilla alle puolet sanoista on HTML:ssä, jonka botti ilman JavaScriptiä saa.
Mitattu 20. lokakuuta 2026
- top 10 000 -etusivuista saa JSON-LD:n vasta JavaScriptin jälkeen
- 1,3 %
- saa suurimman osan tekstistä vasta JavaScriptin jälkeen
- 26,4 %
- näyttää pääotsikon (h1) vasta JavaScriptin jälkeen
- 6,5 %
Mitä testasimme
Verkkosivu saapuu kahdessa vaiheessa. Ensin palvelin lähettää HTML:n. Sitten selain suorittaa sivun JavaScriptin, joka voi lisätä tekstiä, otsikoita ja rakenteista dataa.
Kaikki botit eivät tee toista vaihetta. Vercelin vuoden 2024 lokitutkimuksen mukaan suuret tekoälyrobotit hakevat JavaScript-tiedostot mutta eivät suorita niitä. Anthropicin kehittäjille tarkoitettu web fetch -työkalu ei dokumentaationsa mukaan tue JavaScriptillä rakennettuja sivuja. Google on eri asia: se suorittaa sivujen JavaScriptin.
Latasimme siis jokaisen etusivun kahdesti, sekuntien välein ja samalla botin nimellä: kerran pelkkänä HTML:nä, niin kuin botti ilman JavaScriptiä sen näkee, ja kerran oikeassa Chrome-selaimessa, joka suorittaa JavaScriptin. Sitten vertasimme niitä.
Rakenteinen data, joka näkyy vain JavaScriptin kanssa
Top 10 000 -etusivuista 51,2 % sisältää JSON-LD:n raa'assa HTML:ssä. Vain 1,3 % saa sen pelkästään JavaScriptin kautta, ja 1,3 % saa JavaScriptiltä lisää tyyppejä. Rakenteisen datan osalta raaka HTML kertoo siis yleensä kaiken.
| Mittari | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| JSON-LD raa'assa HTML:ssä | 51,2 %46,1 %–56,3 % | 51 %45,9 %–56 % | 49 %43,8 %–54,2 % | 43,2 %38,2 %–48,3 % | 33 %28,2 %–38 % |
| JSON-LD JavaScriptin jälkeen | 52,3 %47,2 %–57,3 % | 52,6 %47,5 %–57,6 % | 49,9 %44,6 %–55,1 % | 43,2 %38,2 %–48,3 % | 33,5 %28,8 %–38,6 % |
| JSON-LD vain JavaScriptin jälkeen | 1,3 %0,6 %–3,1 % | 1,6 %0,8 %–3,5 % | 0,9 %0,3 %–2,5 % | 0,3 %0 %–1,5 % | 0,6 %0,2 %–2,1 % |
| JavaScript lisää tyyppejä | 1,3 %0,6 %–3,1 % | 0,3 %0 %–1,5 % | 0,6 %0,2 %–2,1 % | 0,5 %0,1 %–2 % | 0,6 %0,2 %–2,1 % |
| JavaScript poistaa sen | 0,3 %0 %–1,5 % | 0 %0 %–1 % | 0 %0 %–1,1 % | 0,3 %0 %–1,5 % | 0 %0 %–1,1 % |
| Verratut etusivut (n) | 371 | 367 | 349 | 368 | 349 |
Rikkinäinen JSON-LD on myös harvinaista: 0,5 % etusivuista, joiden raa'assa HTML:ssä on JSON-LD, sisältää lohkon, joka ei ole kelvollista JSONia. Sellaista lohkoa ei voi lukea rakenteisena datana lainkaan. Skeemavalidaattorimme lukee raa'an HTML:n samalla tavalla ja näyttää tarkan rivin.
| Mittari | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Vähintään yksi lohko ei ole kelvollista JSONia | 0,5 %0,1 %–2,9 % | 1,6 %0,5 %–4,6 % | 2,9 %1,3 %–6,7 % | 1,3 %0,3 %–4,5 % | 0,9 %0,2 %–4,8 % |
| Etusivut, joiden raa'assa HTML:ssä on JSON-LD (n) | 190 | 187 | 171 | 159 | 115 |
Jokaisen osuuden alla on sen vaihteluväli: 95 %:n varmuudella todellinen osuus on näiden kahden luvun välissä. Sarakkeet 1-3 ovat suosittuja sivustoja Tranco-listan sijoituksen mukaan, sarakkeet 4-5 hollannin- ja saksankielisiä sivustoja Curlie-hakemistosta.
Otsikko, kuvaus ja pääotsikko
Sivun otsikko on lähes aina raa'assa HTML:ssä: vain 1,1 % top 10 000 -etusivuista lisää sen JavaScriptillä. Pääotsikko on eri asia: 6,5 % etusivuista näyttää h1:n vasta JavaScriptin jälkeen.
| Mittari | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Sivun otsikko | 1,1 %0,4 %–2,7 % | 1,6 %0,8 %–3,5 % | 0,9 %0,3 %–2,5 % | 0,5 %0,1 %–2 % | 0,3 %0,1 %–1,6 % |
| Metakuvaus | 1,1 %0,4 %–2,7 % | 1,6 %0,8 %–3,5 % | 0,9 %0,3 %–2,5 % | 1,1 %0,4 %–2,8 % | 0,6 %0,2 %–2,1 % |
| Pääotsikko (h1) | 6,5 %4,4 %–9,4 % | 8,4 %6 %–11,7 % | 5,7 %3,7 %–8,7 % | 1,1 %0,4 %–2,8 % | 0,9 %0,3 %–2,5 % |
| Verratut etusivut (n) | 371 | 367 | 349 | 368 | 349 |
Itse teksti
Tyypillisellä top 10 000 -etusivulla 87,5 % selaimen näyttämistä sanoista on myös raa'assa HTML:ssä. Mutta 26,4 % etusivuista on sellaisia, joilla alle puolet tekstistä on mukana ilman JavaScriptiä. Botti, joka ohittaa JavaScriptin, näkee niistä sivuista vain osan.
| Mittari | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Alle puolet sanoista on raa'assa HTML:ssä | 26,4 %22,1 %–31,1 % | 23,9 %19,8 %–28,6 % | 16,3 %12,8 %–20,5 % | 13,2 %10,1 %–17,1 % | 8 %5,6 %–11,4 % |
| Verratut etusivut (n) | 368 | 360 | 344 | 363 | 348 |
| Mittari | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Sanat raa'assa HTML:ssä | 948 | 710 | 830 | 453 | 505 |
| Sanat JavaScriptin jälkeen | 1 409 | 1 058 | 1 044 | 523 | 552 |
Haluatko nähdä, mitä botti ilman JavaScriptiä saa sivultasi? Avaa sivun lähdekoodi (Ctrl+U tai Macilla Cmd+Option+U) itse sivun sijaan. Tai anna ilmaisen GEO-analyysimme tarkistaa sivu.
Mitä tämä ei todista
- Se ei osoita, että tekoälytyökalut käyttäisivät rakenteista dataa lähteiden valintaan tai että sen lisääminen toisi lisää lainauksia.
- Emme ole tekoälyrobotti. Sivustot voivat lähettää tekoälyboteille eri HTML:n kuin meille, botin nimen tai IP-osoitteen perusteella.
- Vain etusivut. Tuotesivut ja artikkelit voivat toimia toisin.
- Laskemme kaiken HTML:n tekstin, myös näytöllä piilotetun, molemmilla puolilla. Emme tarkista, mitä kävijä oikeasti näkee.
- Emme klikanneet mitään. Kun sivulle tulee eväste- tai suostumusbanneri, JavaScriptin jälkeinen sivu voi sisältää bannerin tekstin tai vähemmän itse sivua.
- Shadow DOMin teksti (jota jotkin verkkokomponentit käyttävät) ei kuulu sivun HTML:ään, jonka luemme, joten emme laskeneet sitä JavaScriptin jälkeenkään.
- Se ei kerro Googlesta mitään: Google suorittaa JavaScriptin ennen kuin se indeksoi sivun.
Näin teimme sen
Poimimme satunnaisesti 1 500 sivustoa jokaisesta viidestä ryhmästä: kolme sijoitusväliä suosittujen sivustojen Tranco-listalta 467YX (sijat 1-10 000, 10 001-100 000 ja 100 001-1 000 000) sekä Curlie-hakemiston hollannin- ja saksankieliset osiot (47 502 ja 309 045 sivustoa, jotka on listattu etusivullaan). Kiinteän satunnaissiemenen ansiosta kuka tahansa samoilla kahdella tiedostolla saa täsmälleen samat sivustot.
Niistä sivustoista, joiden etusivu aukesi normaalisti robots.txt-testissämme, otimme kustakin ryhmästä ensimmäiset 400 satunnaisessa järjestyksessä. Ennen sivun lataamista haimme robots.txt-tiedoston uudelleen ja jatkoimme vain, jos se yhä salli bottimme.
Selain oli Chrome/141.0.7390.76 (headless), samalla botin nimellä kuin pelkkä HTML-pyyntö: GEOScoreBot/1.0 (+https://geo-score.online). Se odotti, että sivu latautui, ja lisäksi enintään 10 sekuntia verkon hiljaisuutta, ja luki sitten sivun. Kuvat, videot ja fontit se ohitti, koska ne eivät muuta tekstiä, ja sivuston omien tiedostojen kohdalla se noudatti robots.txt-tiedostoa. Ajo kesti noin 32 minuuttia.
Molemmat versiot kulkivat saman koodin läpi: JSON-LD skeemavalidaattorimme jäsentimellä, sivun otsikko, metakuvaus ja h1, jos ne eivät ole tyhjiä, sekä sivun rungon sanat ilman skriptejä, tyylejä ja kommentteja. Sivu lasketaan "suurin osa tekstistä tarvitsee JavaScriptiä" -tapaukseksi, kun alle puolet JavaScriptin jälkeisistä sanoista on myös raa'assa HTML:ssä.
Kirjoitimme kysymykset, otoksen ja jokaisen mittarin ylös ennen haun alkua ja tallensimme suunnitelman. Kaikki, mitä päätimme vasta datan nähtyämme, on merkitty kokeilevaksi.
| Vaihe | Top 10 000 | 10 001–100 000 | 100 001–1 miljoona | Hollanninkieliset | Saksankieliset |
|---|---|---|---|---|---|
| Kokeillut etusivut | 400 | 400 | 400 | 400 | 400 |
| robots.txt sanoi nyt botillemme ei | 2 | 2 | 2 | 1 | 0 |
| Pelkkä HTML-pyyntö epäonnistui | 0 | 2 | 0 | 0 | 0 |
| Selain ei saanut sivua ladattua | 6 | 11 | 24 | 24 | 47 |
| JavaScript ohjasi selaimen toiselle sivulle | 21 | 18 | 25 | 7 | 4 |
| Verrattu: mukana osuuksissa | 371 | 367 | 349 | 368 | 349 |
| … joista latautui yhä, kun lopetimme odottamisen | 46 | 37 | 24 | 12 | 22 |
Kun JavaScript ohjaa selaimen toiselle sivulle (kielisivulle, evästemuurille, bottitarkistukseen), versiot eivät ole enää sama sivu, joten jätämme ne pois. Botti ilman JavaScriptiä jää ensimmäiselle sivulle.
Muita tutkimuksia samasta aiheesta
Vercel (toimittajan data, joulukuu 2024) tutki tekoälyrobottien liikennettä omassa verkossaan. Silloin yksikään suurista tekoälyroboteista ei suorittanut JavaScriptiä: ne hakivat JavaScript-tiedostot mutta eivät nähneet sisältöä, jonka JavaScript lisää. Gemini oli poikkeus, koska se käyttää Googlen robottia, joka suorittaa sivujen JavaScriptin.
Anthropicin dokumentaatio web fetch -työkalusta, jolla kehittäjät antavat Clauden avata sivun, kertoo, ettei JavaScriptillä rakennettuja sivustoja tueta. Se koskee kehittäjätyökalua; Claude-sovelluksesta dokumentaatio ei kerro mitään.
Tarkista oma sivustosi
Nämä ovat keskiarvoja. Oma sivustosi on joko mukana tai ei. Ilmaiset työkalumme tarkistavat sen sekunneissa.
Lataa data
Jokainen tämän sivun luku on CSV-tiedostossa, yksi rivi lukua kohti, määrän, perusjoukon ja 95 %:n vaihteluvälin kanssa. Siinä on vain yhteismääriä, ei sivustojen nimiä.
Lataa luvut (CSV)Voit käyttää lukuja uudelleen CC BY 4.0 -lisenssillä. Mainitse GEO-Score ja linkitä tälle sivulle.
Sivustolistojen lähteet
Suositut sivustot: Tranco-lista 467YX (Le Pochat ym., NDSS 2019).
Hollannin- ja saksankieliset sivustot: sisältöä lähteestä Curlie.org - verkon suurin ihmisten toimittama hakemisto. Osallistu lähettämällä sivusto tai ryhtymällä toimittajaksi. Curlie-datan lisenssi on CC BY 3.0.
20. lokakuuta 2026: ensimmäinen mittaus julkaistu.