Googlebot

Båda följer samma token i robots.txt, Googlebot, så du kan inte rikta in dig på bara den ena.

På de flesta webbplatser indexerar Google främst mobilversionen, så de flesta förfrågningar kommer från smartphone-crawlern.

Regeln nedan håller Googlebot borta från en betalmapp, medan resten av webbplatsen fortfarande kan crawlas. Kom ihåg: en blockering i robots.txt stoppar crawling, inte indexering. Använd noindex för att hålla en sida utanför resultaten.

User-agent: Googlebot
Disallow: /checkout/

Google säger att AI är en del av Sök. Därför är reglerna i robots.txt för Googlebot styrningen för hur din webbplats crawlas för Sök, även för AI Overviews och AI Mode.

Att blockera Googlebot påverkar Google Sök, inklusive Discover och alla sökfunktioner, och även Google Bilder, Google Videor och Google Nyheter.

• Blockera inte Googlebot om du vill synas i Googles AI-funktioner; det finns ingen separat Google-AI-crawler att tillåta.
• Använd nosnippet eller max-snippet för att begränsa vad Google visar, även i AI Overviews.
• Kontrollera äkta Googlebot-trafik innan du blockerar något: Google varnar för att dess user agent ofta förfalskas.

Testa: Gratis robots.txt-generator

Google-Extended

Google-Extended är inte en crawler och påverkar inte Sök. Den styr bara träning och grounding i Gemini.