Näin tekoälyn vastaukset syntyvät
Tokenit (LLM)
Kutsutaan myös: LLM-tokenit, Tokenit
Tokenit ovat pieniä tekstipaloja, joita kielimalli lukee ja kirjoittaa: kokonaisia sanoja, sanojen osia, yksittäisiä merkkejä tai jopa tavuja.
Selkeästi sanottuna
Malli ei lue kirjain kirjaimelta tai sana sanalta. Se lukee tokeneita.
Anthropic huomauttaa, että se, montako merkkiä yksi token vastaa, riippuu mallista ja kielestä.
Esimerkki
Anthropicin mukaan sen uusimmat Claude-mallit käyttävät tokenisaattoria, joka tuottaa samasta tekstistä 30 % enemmän tokeneita kuin aiemmat mallit. Sama sivu voi siis olla eri määrä tokeneita mallista riippuen.
Miksi tällä on väliä tekoälyhaussa
Konteksti-ikkunat ja vastausten pituusrajat lasketaan tokeneina.
Kun järjestelmä voi antaa mallille vain rajallisen määrän tokeneita, sen on valittava, mitkä tekstikohdat otetaan mukaan.
Mitä voit tehdä
- Sano tärkeä asia aikaisin ja selvästi, älä pitkän johdannon jälkeen.
- Pidä kaikkialla toistuva teksti poissa pääsisällöstäsi.
- Älä laske tokeneita itse: kirjoita selkeästi ihmisille.
Sekoitetaan usein näihin
- Sanat
- Token ei ole sama asia kuin sana. Pitkä tai harvinainen sana voi jakautua useaksi tokeniksi.
Lähteet
Faktat ja lähteet tarkistettu viimeksi 19. lokakuuta 2026.
Liittyvät termit
Lue lisää GEO-Scoresta
Miten sivusi pärjää tekoälyhaussa?
GEO-Score tarkistaa sivun 22 signaalin avulla tekoälyrobottien pääsystä rakenteiseen dataan ja näyttää, mitä kannattaa korjata ensin.
Analysoi sivu