Qu’est-ce qu’un nom de user-agent ?
Chaque bot envoie un nom avec chaque requête : son user-agent. Dans robots.txt, vous utilisez la forme courte de ce nom, le jeton, pour donner à un bot ses propres règles. La casse ne compte pas : GPTBot et gptbot sont le même nom.
Les entreprises d’IA utilisent des bots différents pour des tâches différentes. Les chercheurs trouvent des pages pour la recherche IA, les apprentis collectent des pages pour l’entraînement, et les assistants ouvrent une page quand quelqu’un pose une question à son sujet. Google-Extended et Applebot-Extended ne sont pas du tout des crawlers : ils décident seulement comment peuvent être utilisées les pages que Google et Apple explorent déjà.
Bloquer un apprenti garde vos pages hors des futurs entraînements. Bloquer un chercheur les garde hors des réponses de ce produit. Curieux de savoir ce que fait votre propre robots.txt ? Essayez le vérificateur de crawlers IA gratuit.
Noms de bots IA, vérifiés dans la documentation de chaque entreprise
| Nom dans robots.txt | Entreprise | Ce qu’il fait | Suit robots.txt ? |
|---|---|---|---|
| Diffbot | Diffbot | Flou, aucune documentation | Inconnu |
| OAI-SearchBot | OpenAI | Trouve des pages pour la recherche IA | Oui |
| GPTBot | OpenAI | Collecte des pages pour l’entraînement IA | Oui |
| ChatGPT-User | OpenAI | Ouvre des pages à la demande d’un utilisateur | Pas toujours, selon OpenAI |
| Claude-SearchBot | Anthropic | Trouve des pages pour la recherche IA | Oui |
| ClaudeBot | Anthropic | Collecte des pages pour l’entraînement IA | Oui |
| Claude-User | Anthropic | Ouvre des pages à la demande d’un utilisateur | Oui |
| PerplexityBot | Perplexity | Trouve des pages pour la recherche IA | Oui |
| Perplexity-User | Perplexity | Ouvre des pages à la demande d’un utilisateur | En général non, selon Perplexity |
| Googlebot | Moteur de recherche, alimente aussi des réponses IA | Oui | |
| Google-Extended | Réglage, pas un crawler | Oui | |
| Google-Agent | Ouvre des pages à la demande d’un utilisateur | En général non, selon Google | |
| bingbot | Microsoft | Moteur de recherche, alimente aussi des réponses IA | Oui |
| Applebot | Apple | Moteur de recherche, alimente aussi des réponses IA | Oui |
| Applebot-Extended | Apple | Réglage, pas un crawler | Oui |
| meta-externalagent | Meta | Collecte des pages pour l’entraînement IA | Oui |
| meta-webindexer | Meta | Trouve des pages pour la recherche IA | Oui |
| meta-externalfetcher | Meta | Ouvre des pages à la demande d’un utilisateur | Pas toujours, selon Meta |
| Amazonbot | Amazon | Collecte des pages pour l’entraînement IA | Oui |
| Amzn-SearchBot | Amazon | Trouve des pages pour la recherche IA | Oui |
| Amzn-User | Amazon | Ouvre des pages à la demande d’un utilisateur | Pas toujours, selon Amazon |
| DuckAssistBot | DuckDuckGo | Trouve des pages pour la recherche IA | Oui |
| MistralAI-User | Mistral AI | Ouvre des pages à la demande d’un utilisateur | Oui |
| MistralAI-Index | Mistral AI | Trouve des pages pour la recherche IA | Non précisé par Mistral AI |
| MistralAI-Training | Mistral AI | Collecte des pages pour l’entraînement IA | Oui |
| CCBot | Common Crawl | Collecte des pages pour l’entraînement IA | Oui |
| Bytespider | ByteDance | Flou, aucune documentation | Inconnu |
| cohere-ai | Cohere | Flou, aucune documentation | Inconnu |
| Omgilibot | Omgili | Flou, aucune documentation | Inconnu |
Vérifier votre configuration
Utiliser le vérificateur de crawlers IA
Saisissez votre site dans le vérificateur de crawlers IA. Il lit votre robots.txt comme chaque bot et montre la ligne exacte qui décide.
Ouvrir votre robots.txt
Allez sur votresite.fr/robots.txt dans un navigateur. Le fichier doit s’afficher en texte brut, pas comme une page web.
Regarder vos journaux serveur
Cherchez les noms ci-dessus dans vos journaux d’accès. N’importe qui peut envoyer le nom d’un bot : OpenAI, Anthropic, Perplexity et Common Crawl publient donc des listes d’IP pour vérifier les vraies visites.
Bonnes habitudes
Décidez bot par bot, pas tout ou rien : chercheurs, apprentis et assistants font des tâches différentes.
Ne donnez un groupe propre à un bot que s’il a besoin d’autres règles, et répétez les règles communes dans ce groupe.
Chaque hôte et chaque sous-domaine a besoin de son propre robots.txt à la racine.
Ne bloquez pas les bots IA par adresse IP si vous voulez qu’ils lisent vos règles. Anthropic prévient qu’un blocage par IP empêche ses bots de lire robots.txt.
Laissez environ une journée à un changement : OpenAI, Perplexity, Meta et Amazon parlent d’environ 24 heures, DuckDuckGo jusqu’à 72 heures.
Vérifiez aussi votre pare-feu ou votre CDN. robots.txt est une demande, pas une serrure.
Ressources liées
Comment fonctionne robots.txt, règle par règle
Voir quels bots IA votre robots.txt et votre serveur laissent entrer
Guide de l’accès des crawlers IA
Configurer robots.txt pour les bots IA, étape par étape
Créer un robots.txt avec votre propre choix par bot