Googlebot

Les deux obéissent au même jeton robots.txt, Googlebot, donc vous ne pouvez pas en cibler un seul.

Pour la plupart des sites, Google indexe surtout la version mobile, donc la plupart des requêtes viennent du robot smartphone.

La règle ci-dessous tient Googlebot à l’écart d’un dossier de paiement, tandis que le reste du site reste explorable. Rappel : un blocage robots.txt arrête l’exploration, pas l’indexation. Utilisez noindex pour garder une page hors des résultats.

User-agent: Googlebot
Disallow: /checkout/

Google dit que l’IA fait partie intégrante de la recherche. C’est pourquoi les règles robots.txt pour Googlebot sont le levier de l’exploration de votre site pour la recherche, AI Overviews et AI Mode compris.

Bloquer Googlebot affecte la recherche Google, dont Discover et toutes les fonctions de recherche, ainsi que Google Images, Google Vidéos et Google Actualités.

• Ne bloquez pas Googlebot si vous voulez apparaître dans les fonctionnalités IA de Google ; il n’existe pas de robot IA de Google à autoriser à part.
• Utilisez nosnippet ou max-snippet pour limiter ce que montre Google, AI Overviews compris.
• Vérifiez le vrai trafic Googlebot avant de bloquer quoi que ce soit : Google prévient que son user agent est souvent usurpé.

À essayer: Générateur de robots.txt gratuit

Google-Extended

Google-Extended n’est pas un robot et n’a pas d’effet sur la recherche. Il contrôle seulement l’entraînement et le grounding de Gemini.