Googlebot

Molemmat noudattavat samaa robots.txt-tunnistetta, Googlebot, joten et voi kohdistaa sääntöä vain toiseen.

Useimmilla sivustoilla Google indeksoi pääasiassa mobiiliversion, joten useimmat pyynnöt tulevat älypuhelinrobotilta.

Alla oleva sääntö pitää Googlebotin poissa maksullisesta kansiosta, kun taas muu sivusto on yhä robottien käytettävissä. Muista: robots.txt-esto pysäyttää läpikäynnin, ei indeksointia. Käytä noindexiä, jos haluat pitää sivun poissa tuloksista.

User-agent: Googlebot
Disallow: /checkout/

Googlen mukaan tekoäly on osa hakua. Siksi Googlebotin robots.txt-säännöt ohjaavat sitä, miten sivustosi käydään läpi hakua varten, myös AI Overviewsia ja AI Modea varten.

Googlebotin estäminen vaikuttaa Google-hakuun, myös Discoveriin ja kaikkiin hakuominaisuuksiin, sekä Google Kuviin, Google Videoihin ja Google Uutisiin.

• Älä estä Googlebotia, jos haluat näkyä Googlen tekoälyominaisuuksissa; erillistä Googlen tekoälyrobottia, jonka voisi sallia, ei ole.
• Käytä nosnippetiä tai max-snippetiä rajoittaaksesi, mitä Google näyttää, myös AI Overviewsissa.
• Tarkista aito Googlebot-liikenne ennen kuin estät mitään: Google varoittaa, että sen user agentia väärennetään usein.

Kokeile: Ilmainen robots.txt-generaattori

Google-Extended

Google-Extended ei ole robotti eikä vaikuta hakuun. Se ohjaa vain Geminin koulutusta ja groundingia.