Googlebot 2MB-Crawling-Limit im Detail analysiert: Technischer Praxisleitfaden zur Seitenoptimierung für internationale Websites

Google veröffentlicht erstmals technische Details zur Crawler-Architektur

Gary Illyes von Google hat kürzlich einen bedeutenden technischen Blogbeitrag veröffentlicht, in dem erstmals systematisch die Architektur des Googlebot-Crawler-Systems und technische Details auf Byte-Ebene offengelegt wurden. Diese Informationen sind entscheidend, um zu verstehen, wie Google Webseiten crawlt und indiziert, insbesondere für die technische Optimierung internationaler Websites haben sie direkte praktische Bedeutung.

Wichtige Erkenntnis: Googlebot ist nur ein Client einer gemeinsamen Plattform

Illyes enthüllte einen bisher unbekannten Architekturdetail: Googlebot ist nur einer der "Nutzer" einer zentralisierten Crawling-Plattform innerhalb von Google. Andere Produkte wie Google Shopping und AdSense senden Crawling-Anfragen über dieselbe Plattform, verwenden jedoch jeweils unterschiedliche Crawler-Namen.

Jeder Client kann seine eigenen Konfigurationen unabhängig festlegen, einschließlich User-Agent-String, robots.txt-Token und Byte-Limits. Wenn Sie Googlebot in Ihren Server-Logs sehen, handelt es sich um den Crawler von Google Search; andere Clients erscheinen mit ihren jeweiligen Crawler-Namen.

Die vollständige technische Wahrheit zum 2-MB-Limit

Googlebot hat eine Crawling-Obergrenze von 2 MB für jede URL (PDF-Dateien ausgenommen, deren Limit liegt bei 64 MB). Crawler ohne spezifiziertes Limit verwenden standardmäßig eine Obergrenze von 15 MB. Hier sind die detaillierten technischen Verhaltensweisen des 2-MB-Limits:

HTTP-Anfrageheader zählen zum 2-MB-Limit. Das bedeutet, dass bei Seiten, die nahe am Limit liegen, die Anfrageheader den Platz für den tatsächlichen Inhalt "verdrängen" können.

Seiten über 2 MB werden nicht abgelehnt. Googlebot stoppt das Crawling bei Erreichen von 2 MB und sendet dann den abgeschnittenen Inhalt an Googles Indizierungssystem und den Web-Rendering-Service (WRS). Diese Systeme behandeln die abgeschnittene Datei als vollständige Datei – alle Inhalte nach 2 MB werden nicht gecrawlt, gerendert oder indiziert.

Externe Ressourcen haben eigene Byte-Zähler. CSS- und JavaScript-Dateien, auf die im HTML verwiesen wird, haben jeweils eigene 2-MB-Limits und zählen nicht zum Kontingent der übergeordneten Seite. WRS crawlt jedoch keine Bilder, Videos, Schriftarten und bestimmte "besondere Dateien".

WRS ist zustandslos. Der Web-Rendering-Service löscht lokale Speicher- und Sitzungsdaten zwischen den Anfragen. JavaScript-Funktionen, die auf localStorage oder sessionStorage angewiesen sind, sind im Google-Rendering nicht verfügbar.

Praktische Auswirkungen auf internationale Websites analysiert

Die meisten internationalen Websites müssen sich keine Sorgen machen

Daten von HTTP Archive zeigen, dass die HTML-Größe der allermeisten Webseiten weit unter dem 2-MB-Schwellenwert liegt. Eine typische Produktseite einer internationalen Website hat normalerweise eine HTML-Größe zwischen 100 KB und 500 KB, was noch einen großen Spielraum zum 2-MB-Limit lässt.

Diese Arten von Seiten sollten jedoch wachsam sein

Die folgenden Arten von internationalen Webseiten könnten das 2-MB-Limit erreichen oder überschreiten:

• Große Produktkatalogseiten – Kategorieseiten mit Dutzenden oder sogar Hunderten von Produktkarten
• Seiten mit eingebetteten Base64-Bildern – Bilder direkt im HTML codiert
• Seiten mit viel eingebettetem CSS/JavaScript – Stile und Skripte nicht externalisiert
• Übergroße Navigationsmenüs – Riesige Navigationsstrukturen mit Hunderten von Links
• Lange Produktbeschreibungsseiten – Seiten mit vielen technischen Spezifikationen und eingebetteten Stilen

Die versteckten Kosten von HTTP-Anfrageheadern

Für internationale Websites, die viele Cookies, benutzerdefinierte Header oder komplexe Authentifizierungsmechanismen verwenden, können HTTP-Anfrageheader einen nicht unerheblichen Platz einnehmen. Obwohl dies in den meisten Fällen kein Problem darstellt, ist für Seiten nahe dem 2-MB-Limit jedes Byte wichtig.

Praktische Optimierungsstrategien für Seiten internationaler Websites

1. Seitenvolumen-Audit

Stellen Sie zunächst fest, ob Ihre Seite gefährdet ist:

# Verwenden Sie curl, um die HTML-Größe der Seite zu überprüfen
curl -sL -o /dev/null -w '%{size_download}' https://ihre-website.com/ihre-seite

Wenn der Rückgabewert nahe bei oder über 1,5 MB liegt, ist ernsthafte Optimierung erforderlich.

Eine systematischere Methode ist die Verwendung des Network-Panels in Chrome DevTools, um HTML-Dokumentanfragen zu filtern und Transfer Size und Response Size zu überprüfen.

2. Wichtige Inhalte voranstellen

Google empfiehlt ausdrücklich: Meta-Tags, Title-Tags, Link-Elemente, Canonical-Markierungen und strukturierte Daten sollten an früherer Stelle im HTML erscheinen. Denn wenn eine Seite abgeschnitten wird, können Inhalte weiter hinten möglicherweise überhaupt nicht indiziert werden.

Konkrete Empfehlungen für internationale Websites:

• Platzieren Sie SEO-kritische Meta-Beschreibungen und strukturierte Daten im <head>
• Stellen Sie sicher, dass wichtige Informationen wie Produktname, Preis und Kernbeschreibung innerhalb der ersten 1 MB des HTML-Quellcodes erscheinen
• Platzieren Sie FAQ und lange Inhalte nach den Kernproduktinformationen

3. CSS und JavaScript externalisieren

Dies ist die effektivste Strategie zur Volumenreduzierung. Jede externe CSS- und JavaScript-Datei hat ihr eigenes unabhängiges 2-MB-Byte-Limit:

• Große eingebettete CSS-Blöcke in externe Stylesheets verschieben
• Eingebettetes JavaScript in externe Skriptdateien verschieben
• CSS Sprites oder SVG anstelle eingebetteter Base64-Bilder verwenden

Ein häufiger Fehler beim Aufbau internationaler Websites ist es, CSS und JS von Drittanbieter-Chat-Tools, Analyse-Skripten und Übersetzungskomponenten im HTML einzubetten, was das Seitenvolumen aufbläht.

4. Navigationsstruktur optimieren

Große internationale B2B-Websites haben oft komplexe Produktkategorien-Navigationen, die Hunderte von Links enthalten können. Optimierungsempfehlungen:

• Untermenüs mit JavaScript dynamisch laden – Reduziert Navigationsmarkup im initialen HTML
• Überlegen Sie, eine vereinfachte mobile Navigation zu verwenden – Reduziert wiederholtes Navigations-HTML
• noindex/nofollow sinnvoll einsetzen – Vermeiden Sie Links zu Seiten mit geringem Wert in der Navigation

5. Paginierungsstrategie für Produktkatalogseiten

Für Kategorieseiten mit vielen Produkten:

• Produktanzahl pro Seite begrenzen – Empfohlen werden nicht mehr als 24-36 Produkte pro Seite
• Lazy Loading verwenden – Weitere Produkte dynamisch über JavaScript laden
• Sinnvolle Paginierung implementieren – Verwenden Sie rel=next/prev oder korrekte Canonical-Markierungen

6. Strukturierte Daten optimieren

Strukturierte Daten (JSON-LD) sind entscheidend für die GEO-Optimierung internationaler Websites, erhöhen aber auch das Seitenvolumen:

• JSON-LD-Format verwenden statt Microdata – Kompakter und beeinflusst die HTML-Struktur nicht
• Nur notwendige Attribute markieren – Redundante Schema-Attribute vermeiden
• Strukturierte Daten am Ende des <head> platzieren – Sicherstellen, dass sie vor möglichen Abschnitten liegen

Das 2-MB-Limit könnte sich ändern

Illyes erwähnte im Blogbeitrag ausdrücklich: "Dieses 2-MB-Limit ist nicht in Stein gemeißelt und könnte sich mit der Entwicklung des Webs und dem Wachstum der HTML-Seitengrößen ändern." Dies ist ein wichtiges Signal – da Webseiten immer komplexer werden, könnte Google diesen Schwellenwert in Zukunft erhöhen.

Aber bis das Limit erhöht wird, bleibt die beste Praxis für den Aufbau internationaler Websites: Seiten schlank halten, wichtige Inhalte voranstellen.

Auswirkungen der zustandslosen WRS-Eigenschaft auf internationale Websites

Wenn Ihre internationale Website die folgenden Technologien verwendet, sollten Sie besonders darauf achten:

• Warenkorb basierend auf localStorage – Google kann den Warenkorbstatus nicht rendern
• Sitzungsabhängige Produktdarstellung – Jeder Google-Besuch ist ein völlig neuer Zustand
• A/B-Test-Tools – Sicherstellen, dass Google die Standardversion sieht
• Regionalisierte Inhalte – Google behält den Regionalauswahlstatus nicht bei

Stellen Sie sicher, dass Ihre Kernproduktinformationen auch in einer zustandslosen Rendering-Umgebung vollständig dargestellt werden können.

01CodeTech-Perspektive

Das 2-MB-Limit von Googlebot ist für die meisten internationalen Websites kein dringendes Problem, aber das Verständnis dieser technischen Details ist die Grundlage für professionellen Website-Aufbau und tiefgreifende SEO-Optimierung. Im wettbewerbsintensiven internationalen Markt kann jedes Detail der technischen SEO zu einem Vorteil gegenüber der Konkurrenz werden.

01CodeTech hält beim Aufbau internationaler Websites konsequent an der Philosophie fest, dass "die technische Basis die Optimierungsobergrenze bestimmt". Wir helfen Kunden, von Anfang an eine Seitenarchitektur aufzubauen, die den technischen Standards von Google entspricht, um später nicht für technische Schulden bezahlen zu müssen. Wenn Sie sicherstellen möchten, dass Ihre internationale Website vollständig an die Anforderungen der Google-Crawler-Architektur angepasst ist, folgen Sie 01CodeTech für professionelle technische Unterstützung.

---

Technische Quelle: Google Developers Blog (Gary Illyes), Search Off the Record Podcast Episode 105