Crawling- und Index-Steuerung
Crawl-Budget
Auch genannt: Crawl budget
Das Crawl-Budget ist die Zeit und die Ressourcen, die Google für das Crawlen einer einzelnen Website aufwenden kann.
Einfach erklärt
Das Web ist nahezu endlos, und Google kann nicht jede URL ständig crawlen. Jede Website bekommt also nur einen begrenzten Teil der Aufmerksamkeit.
Für die meisten Websites wird das nie zum Problem.
Beispiel
Googles Leitfaden zum Crawl-Budget richtet sich vor allem an große Websites mit über 1 Million einzelnen Seiten, die sich etwa wöchentlich ändern, und an Websites mit über 10.000 Seiten, die sich täglich ändern.
Warum es für die KI-Suche zählt
Google sagt, dass seine generativen KI-Funktionen öffentlich zugängliche, crawlbare Inhalte nutzen, Crawlbarkeit zählt also auch für die KI-Suche.
Für sehr große, häufig aktualisierte Websites verweist Google auf seinen Leitfaden zum Crawl-Budget.
Was Sie tun können
- Kleine Website? Konzentrieren Sie sich auf Inhalte und interne Links, nicht aufs Crawl-Budget.
- Große Website? Räumen Sie doppelte und nutzlose URLs auf, etwa endlose Filterkombinationen.
- Halten Sie Ihre Sitemap aktuell und Ihren Server schnell.
- Belastet Googlebot Ihren Server zu stark, erklärt Google, wie Sie die Crawling-Frequenz senken.
Oft verwechselt mit
- Indexieren
- Crawlen heißt eine Seite abrufen; Indexieren heißt sie für die Suche speichern. Eine gecrawlte Seite wird nicht immer indexiert.
Quellen
- Google: Large site owner's guide to managing your crawl budget
- Google Search Central: Optimizing your website for generative AI features on Google Search
Fakten und Quellen zuletzt geprüft am 19. Oktober 2026.
Verwandte Begriffe
Wie schlägt sich Ihre Seite in der KI-Suche?
GEO-Score prüft eine Seite anhand von 22 Signalen, vom Zugang für KI-Crawler bis zu strukturierten Daten, und zeigt, was Sie zuerst beheben sollten.
Seite analysieren