Ilmainen työkalu, ei tiliä
Näe, mitkä tekoälybotit voivat lukea sivustoasi ja mitä se merkitsee sinulle. Tarkistamme robots.txt-tiedostosi, sivusi ja sen, miten palvelimesi vastaa kullekin botille.
Tekoälyyritykset lähettävät eri botteja eri tehtäviin. Yhden estäminen ei ole sama asia kuin toisen estäminen.
Ne rakentavat hakemiston, josta tekoälyhaun vastaukset tulevat: OAI-SearchBot ChatGPT searchia varten, Claude-SearchBot, PerplexityBot sekä Googlebot ja bingbot Googlen ja Microsoftin tekoälyvastauksia varten. Jos estät yhden, se tuote ei voi näyttää sivujasi tai linkittää niihin.
Ne keräävät sivuja, joita voidaan käyttää tekoälymallien kouluttamiseen: GPTBot, ClaudeBot, meta-externalagent, Amazonbot ja CCBot. Niiden estäminen jättää sinut tulevan koulutuksen ulkopuolelle. Se ei poista sinua tekoälyhausta.
Ne avaavat sivun sillä hetkellä, kun joku kysyy siitä: ChatGPT-User, Claude-User, Perplexity-User. OpenAI, Perplexity, Meta, Amazon ja Google kertovat, että osa niistä voi ohittaa robots.txt:n, koska ihminen pyysi. Anthropic kertoo, että kaikki sen botit noudattavat robots.txt:tä.
Nämä eivät ole robotteja. Ne ovat robots.txt-nimiä, jotka kertovat Googlelle ja Applelle, saako niiden jo indeksoimia sivuja käyttää mallien kouluttamiseen. Googlen mukaan Google-Extended ei vaikuta Google-hakuun, joten se ei muuta AI Overviewsia eikä AI Modea.
Oppijan estäminen pitää siis sivusi tulevan koulutuksen ulkopuolella, kun taas hakijan estäminen pitää ne sen tekoälytuotteen vastausten ulkopuolella.
Robots.txt on kyltti ovessa, ei lukko. Se pyytää botteja pysymään poissa, mutta ei voi pysäyttää niitä. Lukko on palvelimesi, palveluntarjoajasi tai CDN: palomuurisääntö, tietoturvalisäosa tai bottiasetus voi käännyttää botit pois, vaikka robots.txt toivottaa ne tervetulleiksi.
Cloudflare on tuttu esimerkki. 1.7.2026 alkaen jokaisessa Cloudflare-paketissa voi estää tekoälyhaun botit, agentit ja koulutusbotit erikseen. 15.9.2026 alkaen uudet Cloudflare-sivustot estävät oletuksena koulutusbotit ja agentit sivuilla, joilla on mainoksia.
Jos testimme löytää torjutun botin, tarkista siis ensin palomuuri, bottisuojaus ja CDN-asetukset.
Cloudflaren bottien muutoslokiMitä emme näe: oikeat botit tulevat oman yrityksensä IP-osoitteista. Palomuuri, joka tarkistaa ne, voi kohdella niitä eri tavalla kuin meitä, kumpaan suuntaan tahansa. Siksi palvelintesti on vihje, ei takuu.
Yksi tarkistus lähettää noin 16 pientä pyyntöä, enintään 3 kerrallaan, ja vain kun painat painiketta.
Robots.txt-standardi (RFC 9309)Ei. GPTBot kerää sivuja, joilla voidaan kouluttaa OpenAI:n malleja. ChatGPT search käyttää OAI-SearchBotia, ja OpenAI kertoo, että nämä kaksi asetusta ovat toisistaan riippumattomia.
Ei. Googlen mukaan Google-Extended ei vaikuta Google-hakuun. AI Overviews ja AI Mode ovat osa hakua, joten ne noudattavat Googlebotille antamiasi sääntöjä. Jos haluat rajata, mitä niissä näkyy, Google ohjaa käyttämään nosnippet-, data-nosnippet-, max-snippet- ja noindex-määrityksiä.
Useimmat sivuja keräävät tai indeksoivat botit sanovat noudattavansa. Monet botit, jotka avaavat sivun käyttäjän pyynnöstä, sanovat, ettei robots.txt välttämättä koske niitä: ChatGPT-User, Perplexity-User, meta-externalfetcher, Amzn-User ja Googlen käyttäjien käynnistämät hakijat. Anthropic kertoo, että kaikki sen botit noudattavat robots.txt:tä.
Botit säilyttävät robots.txt-tiedostostasi kopion jonkin aikaa. OpenAI, Perplexity, Meta ja Amazon mainitsevat noin 24 tuntia; DuckDuckGo sanoo DuckAssistBotin osalta enintään 72 tuntia. Myös tämä tarkistin säilyttää tuloksen 15 minuuttia.
Se on sinun valintasi. Oppijoiden, kuten GPTBotin tai ClaudeBotin, estäminen jättää sinut tulevan koulutuksen ulkopuolelle eikä piilota sinua tekoälyhausta. Hakijoiden, kuten OAI-SearchBotin tai PerplexityBotin, estäminen taas poistaa sinut niiden vastauksista.
Jokin sivustosi edessä torjui testipyyntömme: palomuuri, tietoturvalisäosa tai CDN:n bottiasetus. Tarkista ne ensin. Muista, että testimme ei voi tulla botin omista osoitteista.
On. Lähetämme noin 16 pientä pyyntöä, enintään 3 kerrallaan, ja vain kun painat painiketta. Säilytämme tuloksen 15 minuuttia, jotta toinen tarkistus ei ota sivustoosi uudelleen yhteyttä, emmekä sen jälkeen säilytä robots.txt-tiedostoasi.
Jokaisen listamme botin, tarkistettuna kunkin yrityksen omasta dokumentaatiosta. ByteDancelle, Coherelle, Diffbotille ja Omgilille emme löytäneet yrityksen dokumentaatiota, joten näytämme nämä nimet vahvistamattomina.
GEO-tarkistus pisteyttää yhden sivun 22 kohdassa, joilla on merkitystä tekoälyn vastauksille, rakenteesta faktoihin.
Tee GEO-tarkistus