Crawlbudget

Nettet er næsten uendeligt, og Google kan ikke crawle hver URL hele tiden. Så hvert website får en begrænset del af opmærksomheden.

For de fleste websites bliver det aldrig et problem.

Googles guide til crawlbudget er især lavet til store websites med over 1 million unikke sider, der ændrer sig cirka hver uge, og til websites med over 10.000 sider, der ændrer sig hver dag.

Google siger, at dets generative AI-funktioner bruger offentligt indhold, der kan crawles, så det også tæller for AI-søgning, hvor nemt dit website er at crawle.

For meget store websites, der opdateres tit, henviser Google til sin guide om crawlbudget.

• Lille website? Fokusér på indhold og interne links, ikke på crawlbudget.
• Stort website? Ryd op i dublerede og unyttige URL'er, som uendelige kombinationer af filtre.
• Hold dit sitemap opdateret og din server hurtig.
• Overbelaster Googlebot din server, forklarer Google, hvordan du sænker crawlfrekvensen.

Indeksering

Crawling er at hente en side; indeksering er at gemme den til søgning. En crawlet side bliver ikke altid indekseret.