Kostenloses Tool, kein Konto nötig
Sehen Sie, welche KI-Bots Ihre Website lesen können und was das für Sie bedeutet. Wir prüfen Ihre robots.txt, Ihre Seite und wie Ihr Server auf jeden Bot antwortet.
KI-Unternehmen schicken verschiedene Bots für verschiedene Aufgaben. Den einen zu blockieren ist nicht dasselbe, wie den anderen zu blockieren.
Sie bauen den Index, aus dem KI-Antworten stammen: OAI-SearchBot für ChatGPT Search, Claude-SearchBot, PerplexityBot sowie Googlebot und bingbot für die KI-Antworten von Google und Microsoft. Blockieren Sie einen, kann das Produkt Ihre Seiten nicht zeigen oder verlinken.
Sie sammeln Seiten, die zum Training von KI-Modellen genutzt werden können: GPTBot, ClaudeBot, meta-externalagent, Amazonbot und CCBot. Sie zu blockieren, nimmt Sie aus künftigem Training heraus. Aus der KI-Suche verschwinden Sie dadurch nicht.
Sie öffnen eine Seite in dem Moment, in dem jemand danach fragt: ChatGPT-User, Claude-User, Perplexity-User. OpenAI, Perplexity, Meta, Amazon und Google sagen, dass einige davon robots.txt ignorieren können, weil eine Person gefragt hat. Anthropic sagt, dass alle seine Bots robots.txt befolgen.
Das sind keine Crawler. Es sind Namen in der robots.txt, die Google und Apple sagen, ob Seiten, die sie ohnehin crawlen, ihre Modelle trainieren dürfen. Google sagt, dass Google-Extended die Google-Suche nicht beeinflusst, also ändert es auch nichts an AI Overviews oder AI Mode.
Einen Lerner zu blockieren, hält Ihre Seiten also aus künftigem Training heraus, einen Sucher zu blockieren dagegen aus den Antworten dieses KI-Produkts.
Die robots.txt ist ein Schild an der Tür, kein Schloss. Sie bittet Bots draußen zu bleiben, kann sie aber nicht aufhalten. Das Schloss ist Ihr Server, Ihr Hoster oder Ihr CDN: Eine Firewall-Regel, ein Sicherheits-Plugin oder eine Bot-Einstellung kann Bots abweisen, während die robots.txt sie willkommen heißt.
Cloudflare ist ein bekanntes Beispiel. Seit dem 1. Juli 2026 kann jeder Cloudflare-Tarif KI-Such-Bots, Agenten und Trainings-Bots getrennt blockieren. Seit dem 15. September 2026 blockieren neue Cloudflare-Websites Trainings-Bots und Agenten auf Seiten mit Werbung standardmäßig.
Findet unser Test einen abgewiesenen Bot, prüfen Sie also zuerst Ihre Firewall, Ihren Bot-Schutz und Ihre CDN-Einstellungen.
Changelog von Cloudflare zu BotsWas wir nicht sehen können: Echte Bots kommen von den eigenen IP-Adressen ihres Unternehmens. Eine Firewall, die darauf achtet, kann sie anders behandeln als uns, in beide Richtungen. Deshalb ist der Servertest ein Hinweis, keine Garantie.
Eine Prüfung sendet etwa 16 kleine Anfragen, höchstens 3 gleichzeitig, und nur, wenn Sie auf den Button klicken.
Der robots.txt-Standard (RFC 9309)Nein. GPTBot sammelt Seiten, mit denen OpenAI seine Modelle trainieren kann. ChatGPT Search nutzt OAI-SearchBot, und OpenAI sagt, dass die beiden Einstellungen unabhängig voneinander sind.
Nein. Google sagt, dass Google-Extended die Google-Suche nicht beeinflusst. AI Overviews und AI Mode gehören zur Suche, also folgen sie Ihren Regeln für Googlebot. Um zu begrenzen, was dort erscheint, verweist Google auf nosnippet, data-nosnippet, max-snippet und noindex.
Die meisten Bots, die Seiten sammeln oder indexieren, sagen ja. Mehrere Bots, die eine Seite öffnen, weil ein Nutzer gefragt hat, sagen, dass robots.txt möglicherweise nicht gilt: ChatGPT-User, Perplexity-User, meta-externalfetcher, Amzn-User und die von Nutzern ausgelösten Fetcher von Google. Anthropic sagt, dass alle seine Bots robots.txt befolgen.
Bots behalten eine Weile eine Kopie Ihrer robots.txt. OpenAI, Perplexity, Meta und Amazon nennen etwa 24 Stunden; DuckDuckGo sagt bis zu 72 Stunden für DuckAssistBot. Auch dieser Checker behält ein Ergebnis 15 Minuten lang.
Das entscheiden Sie. Lerner wie GPTBot oder ClaudeBot zu blockieren, nimmt Sie aus künftigem Training heraus und versteckt Sie nicht vor der KI-Suche. Sucher wie OAI-SearchBot oder PerplexityBot zu blockieren, entfernt Sie dagegen aus diesen Antworten.
Etwas vor Ihrer Website hat unsere Testanfrage abgewiesen: eine Firewall, ein Sicherheits-Plugin oder eine Bot-Einstellung Ihres CDN. Prüfen Sie diese zuerst. Bedenken Sie, dass unser Test nicht von den eigenen Adressen des Bots kommen kann.
Ja. Wir senden etwa 16 kleine Anfragen, höchstens 3 gleichzeitig, und nur, wenn Sie auf den Button klicken. Wir behalten das Ergebnis 15 Minuten, damit eine zweite Prüfung Ihre Website nicht erneut kontaktiert, und speichern Ihre robots.txt danach nicht.
Jeden Bot auf unserer Liste, abgeglichen mit der eigenen Dokumentation jedes Unternehmens. Für ByteDance, Cohere, Diffbot und Omgili haben wir keine Dokumentation des Unternehmens gefunden, deshalb zeigen wir diese Namen als nicht verifiziert.
Der GEO-Check bewertet eine Seite in 22 Punkten, die für KI-Antworten zählen, von der Struktur bis zu den Fakten.
GEO-Check starten