AI-crawlers
Googlebot
Googlebot is de verzamelnaam voor de twee webcrawlers van Google Search: Googlebot Smartphone en Googlebot Desktop.
In gewone woorden
Beide volgen hetzelfde robots.txt-token, Googlebot, dus je kunt er niet één apart aansturen.
Voor de meeste sites indexeert Google vooral de mobiele versie, dus de meeste crawlverzoeken komen van de smartphonecrawler.
Voorbeeld
De regel hieronder houdt Googlebot uit een map voor het afrekenen, terwijl de rest van de site crawlbaar blijft. Onthoud: een robots.txt-blokkade stopt crawlen, niet indexeren. Gebruik noindex om een pagina uit de resultaten te houden.
User-agent: Googlebot
Disallow: /checkout/Waarom het telt voor AI-zoeken
Google zegt dat AI in Search is ingebouwd. Daarom zijn robots.txt-regels voor Googlebot de knop voor hoe je site voor Search wordt gecrawld, AI Overviews en AI Mode inbegrepen.
Googlebot blokkeren raakt Google Search, inclusief Discover en alle zoekfuncties, en ook Google Afbeeldingen, Google Video en Google Nieuws.
Wat je kunt doen
- Blokkeer Googlebot niet als je in de AI-functies van Google wilt verschijnen; er is geen aparte AI-crawler van Google om toe te staan.
- Gebruik nosnippet of max-snippet om te beperken wat Google toont, ook in AI Overviews.
- Controleer echt Googlebot-verkeer voordat je iets blokkeert: Google waarschuwt dat zijn user agent vaak wordt nagebootst.
Probeer het: Gratis robots.txt-generator
Vaak verward met
- Google-Extended
- Google-Extended is geen crawler en heeft geen invloed op Search. Het regelt alleen Gemini-training en grounding.
Snelle feiten
- Van
- Naam in robots.txt
- Googlebot
- Officiële IP-lijst
- static/crawling/ipranges/common-crawlers.json
Bronnen
- Google Search Central: Googlebot
- Google Search Central: AI features and your website
- Google: Google's common crawlers
Feiten en bronnen voor het laatst gecontroleerd op 19 oktober 2026.
Verwante begrippen
Verder lezen op GEO-Score
Hoe doet jouw pagina het in AI-zoeken?
GEO-Score checkt één pagina op 22 signalen, van toegang voor AI-crawlers tot structured data, en laat zien wat je eerst moet oplossen.
Analyseer een pagina