ClaudeBot

A Anthropic tem três bots. O ClaudeBot é para treinamento, o Claude-User baixa páginas quando alguém pergunta algo ao Claude e o Claude-SearchBot trabalha na qualidade da busca.

Se um site restringe o ClaudeBot, a Anthropic diz que isso indica que o conteúdo futuro desse site deve ficar fora dos dados de treinamento dela.

O trecho abaixo é o exemplo da Anthropic para bloquear o ClaudeBot em um site inteiro. A Anthropic acrescenta que isso precisa ser feito em cada subdomínio que você quer excluir.

User-agent: ClaudeBot
Disallow: /

Bloquear o ClaudeBot tem a ver com treinamento. A Anthropic diz que desativar o Claude-User ou o Claude-SearchBot pode reduzir a visibilidade do seu site na busca.

A Anthropic também diz que bloquear os endereços IP dela pode não funcionar bem, porque os bots deixam de conseguir ler seu robots.txt.

• Use o robots.txt em vez de bloquear IPs para ficar de fora, como a Anthropic recomenda.
• Decida separadamente sobre o ClaudeBot (treinamento) e o Claude-SearchBot (busca).
• Se os bots visitam demais, adicione uma linha Crawl-delay; a Anthropic diz que aceita essa extensão fora do padrão.

Experimente: Gerador de robots.txt gratuito

Claude-User

O Claude-User visita uma página quando alguém faz uma pergunta ao Claude. Se você o bloqueia, o Claude não consegue buscar seu conteúdo para esses usuários.

Claude-SearchBot

O Claude-SearchBot indexa conteúdo para melhorar os resultados de busca do Claude.