Robottien ja indeksoinnin hallinta
Web Bot Auth
Web Bot Auth on tunnistusmenetelmä, jossa botti allekirjoittaa HTTP-pyyntönsä kryptografisesti, jotta sivusto voi tarkistaa, että pyyntö todella tulee kyseiseltä botilta.
Selkeästi sanottuna
Kuka tahansa voi kirjoittaa user agentiin "GPTBot". Allekirjoitusta on paljon vaikeampi väärentää.
Se perustuu kahteen IETF-luonnokseen: toinen koskee hakemistoa, jossa robotti jakaa julkiset avaimensa, ja toinen määrittää, miten avaimet sitovat robotin identiteetin HTTP-pyyntöihin.
Esimerkki
Cloudflare käyttää Web Bot Authia yhtenä tapana tunnistaa botteja ja agentteja. Allekirjoitettu pyyntö voidaan tarkistaa robotin julkaisemia avaimia vasten ennen kuin se päästetään läpi.
Miksi tällä on väliä tekoälyhaussa
Väärennetyt robotit ovat yleisiä: Google ja Common Crawl varoittavat molemmat, että niiden robottien nimiä väärennetään.
Allekirjoitetut pyynnöt helpottavat aitojen tekoälyrobottien päästämistä sisään ja huijareiden pitämistä ulkona.
Mitä voit tehdä
- Jos käytät Cloudflarea, tarkista sen bottien tunnistusasetukset.
- Kunnes allekirjoitukset ovat kaikkialla, tunnista botit niiden ylläpitäjien julkaisemien IP-luetteloiden avulla.
- Älä arvioi robottia pelkän nimen perusteella; tarkista, että se on se, miksi se esittäytyy.
Sekoitetaan usein näihin
- User agent
- User agent on vain nimi, jonka kävijä lähettää. Web Bot Auth lisää siihen todisteen.
- IP-tarkistus
- IP-luettelo kertoo, mistä pyyntö tulee. Allekirjoitus kertoo, kuka sen lähetti.
Lähteet
Faktat ja lähteet tarkistettu viimeksi 19. lokakuuta 2026.
Liittyvät termit
Miten sivusi pärjää tekoälyhaussa?
GEO-Score tarkistaa sivun 22 signaalin avulla tekoälyrobottien pääsystä rakenteiseen dataan ja näyttää, mitä kannattaa korjata ensin.
Analysoi sivu