Googlebot

Begge følger det samme token i robots.txt, Googlebot, så du kan ikke ramme kun den ene.

På de fleste websites indekserer Google mest mobilversionen, så de fleste forespørgsler kommer fra smartphone-crawleren.

Reglen nedenfor holder Googlebot ude af en betalingsmappe, mens resten af websitet stadig kan crawles. Husk: en blokering i robots.txt stopper crawling, ikke indeksering. Brug noindex for at holde en side ude af resultaterne.

User-agent: Googlebot
Disallow: /checkout/

Google siger, at AI er en del af Søgning. Derfor er reglerne i robots.txt for Googlebot styringen for, hvordan dit website crawles til Søgning, også til AI Overviews og AI Mode.

At blokere Googlebot påvirker Google Søgning, inklusive Discover og alle søgefunktioner, og også Google Billeder, Google Videoer og Google Nyheder.

• Blokér ikke Googlebot, hvis du vil vises i Googles AI-funktioner; der er ingen separat Google-AI-crawler at tillade.
• Brug nosnippet eller max-snippet til at begrænse, hvad Google viser, også i AI Overviews.
• Tjek ægte Googlebot-trafik, før du blokerer noget: Google advarer om, at dets user agent tit bliver forfalsket.

Prøv det: Gratis robots.txt-generator

Google-Extended

Google-Extended er ikke en crawler og påvirker ikke Søgning. Det styrer kun træning og grounding i Gemini.