Googlebot

Beide folgen demselben robots.txt-Token, Googlebot, Sie können also keinen einzeln ansprechen.

Bei den meisten Websites indexiert Google vor allem die mobile Version, daher kommen die meisten Crawling-Anfragen vom Smartphone-Crawler.

Die Regel unten hält Googlebot aus einem Checkout-Ordner heraus, der Rest der Website bleibt crawlbar. Denken Sie daran: Eine robots.txt-Sperre stoppt das Crawlen, nicht das Indexieren. Nutzen Sie noindex, um eine Seite aus den Ergebnissen zu halten.

User-agent: Googlebot
Disallow: /checkout/

Google sagt, dass KI fest in die Suche eingebaut ist. Deshalb sind robots.txt-Regeln für Googlebot die Stellschraube dafür, wie Ihre Website für die Suche gecrawlt wird, AI Overviews und AI Mode eingeschlossen.

Googlebot zu sperren betrifft die Google-Suche, einschließlich Discover und aller Suchfunktionen, sowie Google Bilder, Google Video und Google News.

• Sperren Sie Googlebot nicht, wenn Sie in den KI-Funktionen von Google erscheinen wollen; es gibt keinen eigenen KI-Crawler von Google, den Sie erlauben müssten.
• Nutzen Sie nosnippet oder max-snippet, um zu begrenzen, was Google zeigt, auch in AI Overviews.
• Prüfen Sie echten Googlebot-Traffic, bevor Sie etwas sperren: Google warnt, dass sein User-Agent oft gefälscht wird.

Ausprobieren: Kostenloser robots.txt-Generator

Google-Extended

Google-Extended ist kein Crawler und wirkt nicht auf die Suche. Es steuert nur Gemini-Training und Grounding.