Que sont les user-agents ?
Un user-agent est une chaîne qui identifie quel bot ou navigateur accède à votre site web. Les moteurs de recherche IA utilisent des user-agents spécifiques afin que vous puissiez contrôler leur accès dans robots.txt.
Comprendre ces user-agents vous aide à configurer un accès favorable au GEO. Cette référence liste tous les principaux bots IA que vous devriez connaître.
Principaux user-agents des bots IA
| Nom du bot | Chaîne user-agent | Entreprise |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Training) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (fonctionnalités IA) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Tester votre configuration
Vérifiez votre robots.txt
Visitez :
Vérifiez que le fichier se charge et contient vos configurations de bots IA.
Utilisez des testeurs robots.txt
Google Search Console propose un testeur robots.txt. Testez différents user-agents pour vérifier votre configuration.
Surveillez les logs serveur
Consultez vos logs serveur pour voir quels bots explorent réellement votre site. Recherchez les chaînes user-agent dans les journaux d'accès.
Bonnes pratiques
Autorisez tous les bots IA sauf raison spécifique
Gardez votre robots.txt simple et bien documenté
Testez les changements avant déploiement en production
Surveillez les logs pour voir quels bots visitent réellement
Mettez à jour votre robots.txt à mesure que de nouveaux bots IA apparaissent
Bloquez uniquement des répertoires sensibles spécifiques, pas l'ensemble du site
Ressources connexes
Guide complet de robots.txt
Guide complet de la configuration de robots.txt
Accès des bots IA
Comprendre l'accès des bots pour le GEO
Checklist SEO technique
Checklist complète d'optimisation technique