Googlebot

Begge følger det samme tokenet i robots.txt, Googlebot, så du kan ikke treffe bare den ene.

På de fleste nettsteder indekserer Google mest mobilversjonen, så de fleste forespørslene kommer fra smarttelefon-crawleren.

Regelen nedenfor holder Googlebot utenfor en betalingsmappe, mens resten av nettstedet fortsatt kan crawles. Husk: en blokkering i robots.txt stopper crawling, ikke indeksering. Bruk noindex for å holde en side utenfor resultatene.

User-agent: Googlebot
Disallow: /checkout/

Google sier at AI er en del av Søk. Derfor er reglene i robots.txt for Googlebot styringen for hvordan nettstedet ditt crawles for Søk, også for AI Overviews og AI Mode.

Å blokkere Googlebot påvirker Google Søk, inkludert Discover og alle søkefunksjoner, og også Google Bilder, Google Videoer og Google Nyheter.

• Ikke blokker Googlebot hvis du vil vises i Googles AI-funksjoner; det finnes ingen egen Google-AI-crawler å tillate.
• Bruk nosnippet eller max-snippet for å begrense hva Google viser, også i AI Overviews.
• Sjekk ekte Googlebot-trafikk før du blokkerer noe: Google advarer om at user agenten ofte forfalskes.

Prøv det: Gratis robots.txt-generator

Google-Extended

Google-Extended er ikke en crawler og påvirker ikke Søk. Det styrer bare trening og grounding i Gemini.