Que sont les user-agents ?
Un user-agent est une chaîne qui identifie quel bot ou navigateur accède à votre site web. Les moteurs de recherche IA utilisent des user-agents spécifiques afin que vous puissiez contrôler leur accès dans robots.txt.
Comprendre ces user-agents vous aide à configurer un accès favorable au GEO. Cette référence liste tous les principaux bots IA que vous devriez connaître.
Principaux user-agents des bots IA
| Nom du bot | Chaîne user-agent | Entreprise |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Training) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (fonctionnalités IA) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Exemples de robots.txt
Autoriser tous les bots IA (recommandé pour le GEO)
Cette configuration permet à tous les bots IA d'explorer l'intégralité de votre site :
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Bloquer tous les bots IA (non recommandé)
Utilisez ceci uniquement si vous souhaitez vous retirer complètement de la recherche IA :
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Exemple d'accès partiel
Autoriser les bots IA sur le contenu public mais bloquer les zones privées :
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Tester votre configuration
Vérifiez votre robots.txt
Visitez : https://yoursite.com/robots.txt
Vérifiez que le fichier se charge et contient vos configurations de bots IA.
Utilisez des testeurs robots.txt
Google Search Console propose un testeur robots.txt. Testez différents user-agents pour vérifier votre configuration.
Surveillez les logs serveur
Consultez vos logs serveur pour voir quels bots explorent réellement votre site. Recherchez les chaînes user-agent dans les journaux d'accès.
Bonnes pratiques
- •Autorisez tous les bots IA sauf raison spécifique
- •Gardez votre robots.txt simple et bien documenté
- •Testez les changements avant déploiement en production
- •Surveillez les logs pour voir quels bots visitent réellement
- •Mettez à jour votre robots.txt à mesure que de nouveaux bots IA apparaissent
- •Bloquez uniquement des répertoires sensibles spécifiques, pas l'ensemble du site
Ressources connexes
- Guide complet de robots.txt
Guide complet de la configuration de robots.txt
- Accès des bots IA
Comprendre l'accès des bots pour le GEO
- Checklist SEO technique
Checklist complète d'optimisation technique