Crawlbudsjett

Nettet er nesten uendelig, og Google kan ikke crawle hver URL hele tiden. Så hvert nettsted får en begrenset del av oppmerksomheten.

For de fleste nettsteder blir det aldri et problem.

Googles guide om crawlbudsjett er først og fremst laget for store nettsteder med over 1 million unike sider som endres omtrent hver uke, og for nettsteder med over 10 000 sider som endres hver dag.

Google sier at de generative AI-funksjonene bruker offentlig innhold som kan crawles, så hvor lett nettstedet ditt er å crawle, teller også for AI-søk.

For svært store nettsteder som oppdateres ofte, viser Google til guiden sin om crawlbudsjett.

• Lite nettsted? Fokuser på innhold og interne lenker, ikke på crawlbudsjett.
• Stort nettsted? Rydd opp i dupliserte og unyttige URL-er, som uendelige kombinasjoner av filtre.
• Hold sitemapet ditt oppdatert og serveren din rask.
• Overbelaster Googlebot serveren din, forklarer Google hvordan du senker crawlfrekvensen.

Indeksering

Crawling er å hente en side; indeksering er å lagre den for søk. En crawlet side blir ikke alltid indeksert.