Käytännön läpikäynti GPTBotista, ClaudeBotista, PerplexityBotista, OAI-SearchBotista, Google-Extendedistä ja muista: mitä kukin tekee, ja robots.txt, jota voit oikeasti käyttää.
Useimmat sivustot estävät tekoälyrobotit joko vahingossa — perityn WAF-säännön tai kopioidun robots.txt-mallin kautta — tai sallivat kaiken miettimättä, mihin kukin botti oikeasti on tarkoitettu. Tämä opas korjaa molemmat.
Tarkista RobottipääsyniTekoälyyritykset ajavat vähintään kahta erilaista robottityyppiä, ja niiden käsitteleminen yhtenä asiana on yleisin robots.txt-virhe. Koulutusrobotit, kuten GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google) ja CCBot (Common Crawl, jota monet mallit käyttävät epäsuorasti), vierailevat sivustollasi oman aikataulunsa mukaan kerätäkseen dataa tulevaa mallin versiota varten. Yhden estäminen ei poista mitään, mikä on jo opittu aiemmasta indeksoinnista — se vain jättää sinut pois seuraavasta.
Reaaliaikaiset hakurobotit toimivat eri tavalla: OAI-SearchBot ja ChatGPT-User (OpenAI), PerplexityBot (Perplexity), sekä Claude'n ja Geminin hakuun kytketyt haut, kaikki toimivat sillä hetkellä, kun käyttäjä kysyy kysymyksen, joka tarvitsee sivuasi juuri nyt. Näiden estäminen vaikuttaa välittömästi: moottori ei voi lukea sivuasi kyseiseen vastaukseen, piste, vaikka sisältösi olisi ollut juuri se, mitä tarvittiin.
Siksi yleinen 'estä kaikki botit' -sääntö on yleensä virhe, samoin kuin yleinen 'salli kaikki' -sääntö ilman ajattelua sen takana. Oikea robots.txt kohtelee jokaista robottia sen mukaan, mitä se tekee: salli ne, jotka tuottavat viittauksia ja reaaliaikaisia vastauksia, ja tee tietoinen, harkittu valinta — ei oletusta — pelkkien koulutusbottien osalta.
Ennen kuin estät mitään, tarkista, onko kyseessä koulutusrobotti, joka vaikuttaa vain tuleviin mallin versioihin, vai reaaliaikainen hakurobotti, joka vaikuttaa siihen, siteerataanko sinua vastauksessa juuri nyt. Näillä kahdella on täysin erilaiset seuraukset.
User-agent-merkkijono on vain tekstiä — kuka tahansa voi lähettää 'GPTBot' pyynnön otsikossa. Vahvista kaikki perustason robots.txt-sääntöä pidemmälle menevä, kuten WAF-esto, julkaistujen IP-alueiden tai CDN:n vahvistetun bottilistan perusteella, ei pelkän merkkijonon.
robots.txt on pyyntö, ei lukko — hyväkäytöksiset botit noudattavat sitä, mutta ainoa tapa tietää, toimivatko sääntösi todella, on tarkistaa säännöllisesti palvelinlokeista 200-vastaukset (ei hiljaisia pudotuksia tai WAF-haasteita) niiltä boteilta, jotka aioit sallia.
Originality.ai:n riippumaton tutkimus havaitsi, että GPTBot on estetty yli kolmasosalla top 1 000 -verkkosivustoista — ja haastattelut sivustojen omistajien kanssa osoittivat, että monet näistä estoista periytyivät oletus-WAF-säännöistä tai kopioiduista malleista, ei tietoisesta päätöksestä.
Kun tiedät, mitkä botit haluat sallia, varsinainen robots.txt-muutos on kourallinen rivejä. Vaikea osuus on tietää, mitä kirjoittaa, ei sen kirjoittaminen.
Hack/Hackersin analysoimat tapaustutkimukset havaitsivat, että sivustot, jotka estivät tekoälyrobotit, kokivat sen jälkeen merkittävän laskun tekoälyvastausmoottoreista tulevassa viittausliikenteessä. Robotti, jonka estät tänään, on viittaus, jota et saa huomenna.
Listaa, mitkä botit haluat sallia. Useimpien sivustojen tulisi sallia reaaliaikaiset hakurobotit — OAI-SearchBot, ChatGPT-User ja PerplexityBot — oletuksena, koska niiden estäminen poistaa sinut heti live-vastauksista.
Lisää User-agent-lohko jokaista bottia kohden sen sijaan, että luotat mallista perittyyn yleiseen jokerimerkkisääntöön. Eksplisiittiset säännöt ohittavat oletukset ja tekevät aikeesi myöhemmin tarkastettavaksi.
Julkaisun jälkeen tarkista lokisi sallimiesi bottien osalta. Etsi 200-vastauksia, ei 403-koodeja tai WAF-haasteita. Botti, joka noudattaa robots.txt:ää mutta jota silti estetään muualla pinossasi, tarvitsee erillisen korjauksen.
Koulutusrobotti, kuten GPTBot, ClaudeBot tai Google-Extended, kerää dataa oman aikataulunsa mukaan parantaakseen tulevaa mallin versiota — sen estämisellä ei ole vaikutusta tänään tapahtuviin viittauksiin. Reaaliaikainen hakurobotti, kuten OAI-SearchBot, ChatGPT-User tai PerplexityBot, toimii sillä hetkellä, kun käyttäjän kysymys tarvitsee sivuasi — sen estäminen tarkoittaa, että kyseinen tietty vastaus ei voi käyttää sisältöäsi lainkaan.
Minimaalinen esimerkki, joka sallii tärkeimmät viittauksen kannalta olennaiset botit: User-agent: GPTBot, Allow: /; User-agent: OAI-SearchBot, Allow: /; User-agent: ChatGPT-User, Allow: /; User-agent: ClaudeBot, Allow: /; User-agent: PerplexityBot, Allow: /; User-agent: Google-Extended, Allow: /; ja sen jälkeen Sitemap-rivi, joka osoittaa sitemap.xml-tiedostoosi. Säädä, mitkä botit saavat Allow- tai Disallow-merkinnän oman koulutusdatapäätöksesi mukaan.
Useimmille sivustoille: ei. GPTBot on OpenAI:n koulutusrobotti — sen estäminen pysäyttää tulevien mallien kouluttamisen uudella sisällöllä, mutta ei poista mitään jo opittua, eikä vaikuta ChatGPT:n reaaliaikaisiin viittauksiin, jotka tulevat sen sijaan OAI-SearchBotilta ja ChatGPT-Userilta. Sen estäminen on tietoinen kieltäytymispäätös, ei turvatoimi, ja tapaustutkimustiedot viittaavat siihen, että se voi maksaa todellista viittausliikennettä ilman selkeää etua useimmille julkaisijoille.
GPTBotin, ClaudeBotin tai PerplexityBotin estämisellä ei ole suoraa vaikutusta Google-hakusijoitukseesi — Googlebot on täysin erillinen indeksointirobotti. Erityisesti Google-Extendedin estäminen on eri asia: se estää sisältösi käytön Googlen omissa tekoälyominaisuuksissa, kuten AI Overviews'issa ja Geminissä, koskematta tavalliseen hakusijoitukseesi, joka on Googlebotin hallinnassa.
Älä koskaan luota pelkkään user-agent-merkkijonoon — sen väärentäminen on triviaalia. Vahvista kaikki perustason robots.txt-sääntöä pidemmälle menevä robotin julkaistujen IP-alueiden perusteella (OpenAI, Anthropic ja muut julkaisevat nämä) tai käytä CDN:n vahvistettua bottilistaa, kuten Cloudflaren AI Crawl Controlia, joka tarkistaa muutakin kuin vain otsikon.
llms.txt on kehittymässä oleva, epävirallinen käytäntö, jota jotkin sivustot käyttävät ohjatakseen tekoälyrobotteja sisältönsä kuratoituun yhteenvetoon. Se ei ole standardi, jonka minkään suuren tekoälyyrityksen olisi vahvistettu lukevan, eikä se korvaa robots.txt:ää, joka on se varsinainen pääsynhallintamekanismi, jota robotit noudattavat. Kannattaa seurata, mutta ei vielä priorisoida robots.txt:n kuntoon saattamisen edelle.
GEO-Score tarkastaa robots.txt-tiedostosi, palvelinvastaukset ja JavaScript-renderöidyn sisällön näyttääkseen tarkalleen, mitkä tekoälybotit pääsevät sisään. Viisi sivutarkistusta domainia kohden on ilmaisia 30 päivän välein.
Tarkista Robottipääsyni