Que sont les User-Agents ?
Un user-agent est une chaîne qui identifie quel robot ou navigateur accède à votre site web. Les moteurs de recherche IA utilisent des user-agents spécifiques afin que vous puissiez contrôler leur accès dans robots.txt.
Comprendre ces user-agents vous aide à configurer un accès favorable au GEO. Cette référence liste tous les principaux robots IA que vous devriez connaître.
User-Agents des principaux robots IA
| Nom du robot | Chaîne User-Agent | Entreprise |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (Plugins/Navigation ChatGPT) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Entraînement) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (fonctionnalités IA) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Exemples de robots.txt
Autoriser tous les robots IA (recommandé pour le GEO)
Cette configuration autorise tous les robots IA à explorer l'ensemble de votre site :
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Bloquer tous les robots IA (non recommandé)
Utilisez ceci uniquement si vous voulez vous désinscrire complètement de la recherche IA :
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Exemple d'accès partiel
Autorisez les robots IA au contenu public mais bloquez les zones privées :
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Tester votre configuration
Vérifiez votre robots.txt
Visitez : https://yoursite.com/robots.txt
Vérifiez que le fichier se charge et contient vos configurations de robots IA.
Utilisez des testeurs robots.txt
Google Search Console offre un testeur robots.txt. Testez différents user-agents pour vérifier votre configuration.
Surveillez les journaux serveur
Vérifiez vos journaux serveur pour voir quels robots explorent réellement. Recherchez les chaînes user-agent dans les journaux d'accès.
Meilleures pratiques
- •Autorisez tous les robots IA sauf si vous avez des raisons spécifiques de ne pas le faire
- •Gardez votre robots.txt simple et bien documenté
- •Testez les changements avant de les déployer en production
- •Surveillez les journaux pour voir quels robots visitent réellement
- •Mettez à jour votre robots.txt au fur et à mesure que de nouveaux robots IA émergent
- •Bloquez uniquement des répertoires sensibles spécifiques, pas tout le site
Ressources connexes
- Guide complet robots.txt
Guide complet de configuration robots.txt
- Accès des robots IA
Comprendre l'accès des robots pour le GEO
- Liste de contrôle SEO technique
Liste de contrôle complète d'optimisation technique