ClaudeBot

Anthropic utilise trois robots. ClaudeBot sert à l’entraînement, Claude-User récupère des pages quand quelqu’un pose une question à Claude, et Claude-SearchBot travaille sur la qualité de la recherche.

Si un site restreint ClaudeBot, Anthropic dit que cela signale que les futurs contenus du site doivent être exclus de ses données d’entraînement.

L’extrait ci-dessous est l’exemple d’Anthropic pour bloquer ClaudeBot sur tout un site. Anthropic ajoute qu’il faut le faire pour chaque sous-domaine à exclure.

User-agent: ClaudeBot
Disallow: /

Bloquer ClaudeBot concerne l’entraînement. Anthropic dit que désactiver Claude-User ou Claude-SearchBot peut réduire la visibilité de votre site dans la recherche.

Anthropic dit aussi que bloquer ses adresses IP peut ne pas fonctionner de façon fiable, car ses robots ne peuvent alors plus lire votre robots.txt.

• Utilisez le robots.txt plutôt qu’un blocage d’IP pour vous retirer, comme le recommande Anthropic.
• Décidez séparément pour ClaudeBot (entraînement) et Claude-SearchBot (recherche).
• Si ses robots passent trop souvent, ajoutez une ligne Crawl-delay ; Anthropic dit prendre en charge cette extension non standard.

À essayer: Générateur de robots.txt gratuit

Claude-User

Claude-User visite une page quand quelqu’un pose une question à Claude. Le bloquer empêche Claude de récupérer votre contenu pour ces utilisateurs.

Claude-SearchBot

Claude-SearchBot indexe des contenus pour améliorer les résultats de recherche de Claude.