Googlebot

Os dois obedecem ao mesmo token do robots.txt, Googlebot, então você não consegue mirar só em um deles.

Na maioria dos sites, o Google indexa principalmente a versão para celular, então a maioria dos pedidos vem do rastreador para smartphone.

A regra abaixo mantém o Googlebot fora de uma pasta paga, enquanto o resto do site continua rastreável. Lembre: um bloqueio no robots.txt impede o rastreamento, não a indexação. Use noindex para deixar uma página fora dos resultados.

User-agent: Googlebot
Disallow: /checkout/

O Google diz que a IA faz parte da Pesquisa. Por isso, as regras do robots.txt para o Googlebot são o controle de como seu site é rastreado para a Pesquisa, inclusive para AI Overviews e AI Mode.

Bloquear o Googlebot afeta a Pesquisa Google, incluindo o Discover e todos os recursos da Pesquisa, e também o Google Imagens, o Google Vídeos e o Google Notícias.

• Não bloqueie o Googlebot se você quer aparecer nos recursos de IA do Google; não existe um rastreador de IA do Google separado para liberar.
• Use nosnippet ou max-snippet para limitar o que o Google mostra, inclusive nos AI Overviews.
• Confira o tráfego real do Googlebot antes de bloquear qualquer coisa: o Google avisa que o user agent dele é falsificado com frequência.

Experimente: Gerador de robots.txt gratuito

Google-Extended

O Google-Extended não é um rastreador e não afeta a Pesquisa. Ele só controla o treinamento e o grounding do Gemini.