Gratis tool, geen account nodig
Zie welke AI-bots je site kunnen lezen en wat dat voor je betekent. We checken je robots.txt, je pagina en hoe je server op elke bot reageert.
AI-bedrijven sturen verschillende bots voor verschillende taken. De ene blokkeren is niet hetzelfde als de andere blokkeren.
Ze bouwen de index waar AI-antwoorden uit komen: OAI-SearchBot voor ChatGPT search, Claude-SearchBot, PerplexityBot, en Googlebot en bingbot voor de AI-antwoorden van Google en Microsoft. Blokkeer er één, en dat product kan je pagina's niet tonen of linken.
Ze verzamelen pagina's die gebruikt kunnen worden om AI-modellen te trainen: GPTBot, ClaudeBot, meta-externalagent, Amazonbot en CCBot. Ze blokkeren houdt je buiten toekomstige training. Je verdwijnt er niet door uit AI-zoekmachines.
Ze openen een pagina op het moment dat iemand ernaar vraagt: ChatGPT-User, Claude-User, Perplexity-User. OpenAI, Perplexity, Meta, Amazon en Google zeggen dat sommige hiervan robots.txt kunnen negeren, omdat een persoon erom vroeg. Anthropic zegt dat al zijn bots robots.txt volgen.
Dit zijn geen crawlers. Het zijn namen in robots.txt die Google en Apple vertellen of pagina's die ze al crawlen hun modellen mogen trainen. Google zegt dat Google-Extended geen invloed heeft op Google Zoeken, dus het verandert niets aan AI Overviews of AI Mode.
Een trainingsbot blokkeren houdt je pagina's dus buiten toekomstige training, terwijl een zoeker blokkeren ze buiten de antwoorden van dat AI-product houdt.
robots.txt is een bordje op de deur, geen slot. Het vraagt bots weg te blijven, maar kan ze niet tegenhouden. Het slot is je server, hosting of CDN: een firewallregel, een beveiligingsplugin of een botinstelling kan bots wegsturen terwijl robots.txt ze welkom heet.
Cloudflare is een bekend voorbeeld. Sinds 1 juli 2026 kan elk Cloudflare-abonnement AI-zoekbots, agents en trainingsbots apart blokkeren. Sinds 15 september 2026 blokkeren nieuwe Cloudflare-sites standaard trainingsbots en agents op pagina's met advertenties.
Vindt onze test een bot die geweigerd wordt? Check dan eerst je firewall, botbescherming en CDN-instellingen.
Changelog van Cloudflare over botsWat we niet kunnen zien: echte bots komen van de eigen IP-adressen van hun bedrijf. Een firewall die daarop let, kan ze anders behandelen dan ons, in beide richtingen. Daarom is de servertest een signaal, geen garantie.
Een check stuurt zo'n 16 kleine verzoeken, maximaal 3 tegelijk, en alleen als jij op de knop drukt.
De robots.txt-standaard (RFC 9309)Nee. GPTBot verzamelt pagina's die de modellen van OpenAI kunnen trainen. ChatGPT search gebruikt OAI-SearchBot, en OpenAI zegt dat de twee instellingen los van elkaar werken.
Nee. Google zegt dat Google-Extended geen invloed heeft op Google Zoeken. AI Overviews en AI Mode horen bij Zoeken, dus ze volgen je regels voor Googlebot. Wil je beperken wat daar verschijnt, dan wijst Google naar nosnippet, data-nosnippet, max-snippet en noindex.
De meeste bots die pagina's verzamelen of indexeren, zeggen van wel. Een aantal bots die een pagina openen omdat een gebruiker erom vroeg, zeggen dat robots.txt mogelijk niet geldt: ChatGPT-User, Perplexity-User, meta-externalfetcher, Amzn-User en de door gebruikers gestarte fetchers van Google. Anthropic zegt dat al zijn bots robots.txt volgen.
Bots bewaren een tijdje een kopie van je robots.txt. OpenAI, Perplexity, Meta en Amazon noemen ongeveer 24 uur; DuckDuckGo zegt tot 72 uur voor DuckAssistBot. Deze checker bewaart een resultaat ook 15 minuten.
Dat is jouw keuze. Trainingsbots zoals GPTBot of ClaudeBot blokkeren houdt je buiten toekomstige training en verbergt je niet voor AI-zoekmachines. Zoekers zoals OAI-SearchBot of PerplexityBot blokkeren haalt je wel uit die antwoorden.
Iets vóór je site weigerde ons testverzoek: een firewall, een beveiligingsplugin of een botinstelling van je CDN. Check die eerst. Houd er rekening mee dat onze test niet van de eigen adressen van de bot kan komen.
Ja. We sturen zo'n 16 kleine verzoeken, maximaal 3 tegelijk, en alleen als jij op de knop drukt. We bewaren het resultaat 15 minuten zodat een tweede check je site niet opnieuw benadert, en daarna bewaren we je robots.txt niet.
Elke bot in onze lijst, gecheckt tegen de eigen documentatie van elk bedrijf. Voor ByteDance, Cohere, Diffbot en Omgili vonden we geen documentatie van het bedrijf, dus tonen we die namen als niet geverifieerd.
De GEO-check scoort één pagina op 22 punten die tellen voor AI-antwoorden, van structuur tot feiten.
Doe een GEO-check