Wat is een user-agentnaam?
Elke bot stuurt bij elk verzoek een naam mee: zijn user-agent. In robots.txt gebruik je de korte vorm van die naam, het token, om een bot eigen regels te geven. Hoofdletters maken niet uit: GPTBot en gptbot zijn dezelfde naam.
AI-bedrijven gebruiken verschillende bots voor verschillende taken. Zoekers vinden pagina's voor AI-zoekmachines, trainingsbots verzamelen pagina's voor training, en helpers openen een pagina als iemand ernaar vraagt. Google-Extended en Applebot-Extended zijn helemaal geen crawlers: ze bepalen alleen hoe pagina's die Google en Apple al crawlen gebruikt mogen worden.
Een trainingsbot blokkeren houdt je pagina's buiten toekomstige training. Een zoeker blokkeren houdt ze buiten de antwoorden van dat product. Benieuwd wat je eigen robots.txt doet? Probeer de gratis AI Crawler Checker.
Namen van AI-bots, gecheckt tegen de documentatie van elk bedrijf
| Naam in robots.txt | Bedrijf | Wat hij doet | Volgt robots.txt? |
|---|---|---|---|
| Diffbot | Diffbot | Onduidelijk, geen documentatie | Onbekend |
| OAI-SearchBot | OpenAI | Zoekt pagina's voor AI-zoeken | Ja |
| GPTBot | OpenAI | Verzamelt pagina's voor AI-training | Ja |
| ChatGPT-User | OpenAI | Opent pagina's als een gebruiker vraagt | Niet altijd, zegt OpenAI |
| Claude-SearchBot | Anthropic | Zoekt pagina's voor AI-zoeken | Ja |
| ClaudeBot | Anthropic | Verzamelt pagina's voor AI-training | Ja |
| Claude-User | Anthropic | Opent pagina's als een gebruiker vraagt | Ja |
| PerplexityBot | Perplexity | Zoekt pagina's voor AI-zoeken | Ja |
| Perplexity-User | Perplexity | Opent pagina's als een gebruiker vraagt | Meestal niet, zegt Perplexity |
| Googlebot | Zoekmachine, voedt ook AI-antwoorden | Ja | |
| Google-Extended | Instelling, geen crawler | Ja | |
| Google-Agent | Opent pagina's als een gebruiker vraagt | Meestal niet, zegt Google | |
| bingbot | Microsoft | Zoekmachine, voedt ook AI-antwoorden | Ja |
| Applebot | Apple | Zoekmachine, voedt ook AI-antwoorden | Ja |
| Applebot-Extended | Apple | Instelling, geen crawler | Ja |
| meta-externalagent | Meta | Verzamelt pagina's voor AI-training | Ja |
| meta-webindexer | Meta | Zoekt pagina's voor AI-zoeken | Ja |
| meta-externalfetcher | Meta | Opent pagina's als een gebruiker vraagt | Niet altijd, zegt Meta |
| Amazonbot | Amazon | Verzamelt pagina's voor AI-training | Ja |
| Amzn-SearchBot | Amazon | Zoekt pagina's voor AI-zoeken | Ja |
| Amzn-User | Amazon | Opent pagina's als een gebruiker vraagt | Niet altijd, zegt Amazon |
| DuckAssistBot | DuckDuckGo | Zoekt pagina's voor AI-zoeken | Ja |
| MistralAI-User | Mistral AI | Opent pagina's als een gebruiker vraagt | Ja |
| MistralAI-Index | Mistral AI | Zoekt pagina's voor AI-zoeken | Niet vermeld door Mistral AI |
| MistralAI-Training | Mistral AI | Verzamelt pagina's voor AI-training | Ja |
| CCBot | Common Crawl | Verzamelt pagina's voor AI-training | Ja |
| Bytespider | ByteDance | Onduidelijk, geen documentatie | Onbekend |
| cohere-ai | Cohere | Onduidelijk, geen documentatie | Onbekend |
| Omgilibot | Omgili | Onduidelijk, geen documentatie | Onbekend |
Check je instellingen
Gebruik de AI Crawler Checker
Vul je site in bij de AI Crawler Checker. Die leest je robots.txt zoals elke bot dat doet en toont de precieze regel die beslist.
Open je robots.txt
Ga in je browser naar jouwsite.nl/robots.txt. Het bestand moet als platte tekst laden, niet als webpagina.
Kijk in je serverlogs
Zoek in je toegangslogs naar de namen hierboven. Iedereen kan de naam van een bot meesturen, dus OpenAI, Anthropic, Perplexity en Common Crawl publiceren IP-lijsten waarmee je echte bezoeken kunt controleren.
Goede gewoontes
Kies per bot, niet alles of niets: zoekers, trainingsbots en helpers doen ander werk.
Geef een bot alleen een eigen groep als hij andere regels nodig heeft, en herhaal gedeelde regels in die groep.
Elke host en elk subdomein heeft een eigen robots.txt in de hoofdmap nodig.
Blokkeer AI-bots niet op IP-adres als je wilt dat ze je regels lezen. Anthropic waarschuwt dat een IP-blokkade zijn bots verhindert robots.txt te lezen.
Geef een wijziging ongeveer een dag: OpenAI, Perplexity, Meta en Amazon noemen zo'n 24 uur, DuckDuckGo tot 72 uur.
Check ook je firewall of CDN. robots.txt is een verzoek, geen slot.
Gerelateerd
Hoe robots.txt werkt, regel voor regel
Zie welke AI-bots je robots.txt en server binnenlaten
Gids: toegang voor AI-crawlers
Stel robots.txt stap voor stap in voor AI-bots
Maak een robots.txt met je eigen keuze per bot