Crawl-Budget.
Aktualisiert am · Auch: Crawl Budget, Crawling-Budget
Google setzt das Crawl-Budget laut Search Central aus zwei Größen zusammen:
- Crawling-Kapazität: Wie viel Last Google Ihrem Server zumuten kann, ohne ihn zu überlasten. Antwortet der Server schnell und zuverlässig, steigt sie; bei Fehlern oder langsamen Antworten sinkt sie.
- Crawling-Bedarf: Wie viel Google crawlen möchte. Er hängt von der Zahl bekannter URLs, ihrer Beliebtheit und davon ab, wie oft sich Inhalte ändern.
Warum ist das wichtig?
Für die meisten mittelständischen Websites mit einigen Hundert Seiten ist das Crawl-Budget kein Engpass. Google richtet seinen Leitfaden ausdrücklich an große Websites, etwa mit mehr als einer Million Seiten und wöchentlichen Änderungen, an mittelgroße mit mehr als 10.000 Seiten und täglichen Änderungen oder an Websites mit vielen URLs im Status „Gefunden – zurzeit nicht indexiert“.
Relevant wird das Thema häufig bei Online-Shops und Produktkatalogen mit Filter-URLs, bei Jobbörsen oder bei Websites mit technischen Fehlern, die unzählige URL-Varianten erzeugen. Was Google empfiehlt:
- Doppelte Inhalte zusammenführen.
- Unwichtige URLs per robots.txt vom Crawling ausschließen – nicht per
noindex, weil Google die Seite dafür trotzdem abrufen muss. - Dauerhaft entfernte Seiten mit 404 oder 410 beantworten und Soft-404-Fehler beheben.
- Sitemaps aktuell halten und
<lastmod>pflegen. - Weiterleitungsketten vermeiden und Ladezeiten verbessern.
Beispiel
Ein hypothetischer B2B-Shop für Befestigungstechnik hat 8.000 Produkte, aber durch Filter für Material, Länge und Gewinde über zwei Millionen URL-Kombinationen. In der Search Console stehen Tausende Produktseiten auf „Gefunden – zurzeit nicht indexiert“. Nach dem Sperren der Filterparameter in der robots.txt und der Bereinigung der Sitemap konzentriert sich der Googlebot auf die eigentlichen Produktseiten.
Abgrenzung
Das Crawl-Budget betrifft den Googlebot. KI-Crawler wie OAI-SearchBot oder PerplexityBot haben eigene Crawling-Logiken; die Grundregeln – saubere URL-Struktur, schneller Server, klare robots.txt – helfen aber allen Crawlern.