KI-Crawler
ClaudeBot
Auch genannt: Claude-User
ClaudeBot ist der Webcrawler von Anthropic, der Inhalte sammelt, die zum Training seiner generativen KI-Modelle beitragen können.
Einfach erklärt
Anthropic betreibt drei Bots. ClaudeBot ist fürs Training, Claude-User ruft Seiten ab, wenn jemand Claude etwas fragt, und Claude-SearchBot arbeitet an der Qualität der Suchergebnisse.
Schränkt eine Website ClaudeBot ein, signalisiert das laut Anthropic, dass künftige Inhalte dieser Website aus seinen Trainingsdaten herausbleiben sollen.
Beispiel
Das Snippet unten ist Anthropics eigenes Beispiel, um ClaudeBot für eine ganze Website zu sperren. Anthropic ergänzt, dass Sie das für jede Subdomain tun müssen, die Sie ausschließen wollen.
User-agent: ClaudeBot
Disallow: /Warum es für die KI-Suche zählt
ClaudeBot zu sperren betrifft das Training. Anthropic sagt, dass das Abschalten von Claude-User oder Claude-SearchBot die Sichtbarkeit Ihrer Website in der Suche verringern kann.
Anthropic sagt auch, dass das Blockieren seiner IP-Adressen möglicherweise nicht zuverlässig funktioniert, weil die Bots dann Ihre robots.txt nicht lesen können.
Was Sie tun können
- Steigen Sie per robots.txt aus statt per IP-Sperre, wie Anthropic es empfiehlt.
- Entscheiden Sie getrennt über ClaudeBot (Training) und Claude-SearchBot (Suche).
- Kommen die Bots zu oft, ergänzen Sie eine Crawl-delay-Zeile; Anthropic sagt, dass es diese nicht standardisierte Erweiterung unterstützt.
Ausprobieren: Kostenloser robots.txt-Generator
Oft verwechselt mit
- Claude-User
- Claude-User besucht eine Seite, wenn jemand Claude eine Frage stellt. Sperren Sie ihn, kann Claude Ihre Inhalte für diese Nutzer nicht abrufen.
- Claude-SearchBot
- Claude-SearchBot indexiert Inhalte, um die Suchergebnisse von Claude zu verbessern.
Kurz und knapp
- Betreiber
- Anthropic
- Name in robots.txt
- ClaudeBot, Claude-User
- Offizielle IP-Liste
- crawling/bots.json
Quellen
Fakten und Quellen zuletzt geprüft am 19. Oktober 2026.
Verwandte Begriffe
Wie schlägt sich Ihre Seite in der KI-Suche?
GEO-Score prüft eine Seite anhand von 22 Signalen, vom Zugang für KI-Crawler bis zu strukturierten Daten, und zeigt, was Sie zuerst beheben sollten.
Seite analysieren