Crawling- und Index-Steuerung
Web Bot Auth
Web Bot Auth ist ein Authentifizierungsverfahren, bei dem ein Bot seine HTTP-Anfragen kryptografisch signiert, damit eine Website prüfen kann, dass eine Anfrage wirklich von diesem Bot stammt.
Einfach erklärt
Jeder kann „GPTBot“ in einen User-Agent schreiben. Eine Signatur zu fälschen ist viel schwerer.
Es stützt sich auf zwei IETF-Entwürfe: einen für ein Verzeichnis, in dem ein Crawler seine öffentlichen Schlüssel teilt, und einen, der festlegt, wie diese Schlüssel die Identität des Crawlers an HTTP-Anfragen binden.
Beispiel
Cloudflare nutzt Web Bot Auth als eine Möglichkeit, Bots und Agenten zu verifizieren. Eine signierte Anfrage kann gegen die veröffentlichten Schlüssel des Crawlers geprüft werden, bevor sie durchgelassen wird.
Warum es für die KI-Suche zählt
Gefälschte Crawler sind häufig: Google und Common Crawl warnen beide, dass die Namen ihrer Crawler nachgeahmt werden.
Signierte Anfragen machen es leichter, echte KI-Crawler hereinzulassen und Betrüger draußen zu halten.
Was Sie tun können
- Nutzen Sie Cloudflare, sehen Sie sich die Einstellungen zur Bot-Verifizierung an.
- Solange Signaturen nicht überall verbreitet sind, prüfen Sie Bots mit den IP-Listen, die ihre Betreiber veröffentlichen.
- Beurteilen Sie einen Crawler nicht nur nach seinem Namen; prüfen Sie, ob er ist, wer er vorgibt zu sein.
Oft verwechselt mit
- User-Agent
- Ein User-Agent ist nur ein Name, den der Besucher mitschickt. Web Bot Auth fügt einen Beweis hinzu.
- IP-Prüfung
- Eine IP-Liste zeigt, woher eine Anfrage kommt. Eine Signatur zeigt, wer sie geschickt hat.
Quellen
Fakten und Quellen zuletzt geprüft am 19. Oktober 2026.
Verwandte Begriffe
Mehr dazu bei GEO-Score
Wie schlägt sich Ihre Seite in der KI-Suche?
GEO-Score prüft eine Seite anhand von 22 Signalen, vom Zugang für KI-Crawler bis zu strukturierten Daten, und zeigt, was Sie zuerst beheben sollten.
Seite analysieren