案例分享
2026/04/08
Googlebot 2MBクロール制限の詳細分析：海外向けウェブサイト構築におけるページ最適化の技術実践ガイド
GoogleのGary IllyesがGooglebotクローラーのアーキテクチャと2MBバイト制限の技術的詳細を明らかにしました。本記事では、海外向けウェブサイト構築の実践的観点から、これらの技術パラメータがページインデックスに与える影響を分析し、具体的な最適化策を提供します。
Googleが初めてクローラーアーキテクチャの技術詳細を公開
GoogleのGary Illyesが最近、重要な技術ブログを公開し、初めて体系的にGooglebotクローラーシステムのアーキテクチャ設計とバイトレベルの技術詳細を明らかにしました。この情報は、Googleがどのようにウェブページをクロールおよびインデックスするかを理解する上で重要であり、特に海外向けウェブサイト構築の技術最適化に直接的な指導的意義を持ちます。
重要な発見：Googlebotは共有プラットフォームの単なるクライアント
Illyesは、これまで知られていなかったアーキテクチャの詳細を明らかにしました：GooglebotはGoogle内部の中央集権型クロールプラットフォームの「ユーザー」の一つに過ぎません。Google ShoppingやAdSenseなどの他の製品も同じプラットフォームを通じてクロールリクエストを送信しますが、それぞれ異なるクローラー名を使用しています。
各クライアントは、ユーザーエージェント文字列、robots.txtトークン、バイト制限など、独自の設定を独立して設定できます。サーバーログでGooglebotを確認した場合、それはGoogle Searchのクローラーです。他のクライアントはそれぞれのクローラー名で表示されます。
2MB制限の完全な技術的真実
Googlebotは、任意のURLのクロール上限を2MBとしています（PDFファイルを除く。PDFの制限は64MB）。制限が指定されていないクローラーは、デフォルトで15MBの上限を使用します。以下は2MB制限の詳細な技術的動作です：
HTTPリクエストヘッダーも2MB制限に含まれます。 これは、制限に近いページでは、リクエストヘッダーが実際のコンテンツのスペースを「圧迫」する可能性があることを意味します。
2MBを超えるページは拒否されません。 Googlebotは2MBに達した時点でクロールを停止し、切り詰められたコンテンツをGoogleのインデックスシステムとWebレンダリングサービス（WRS）に送信します。これらのシステムは切り詰められたファイルを完全なファイルとして処理します——2MB以降のすべてのコンテンツはクロール、レンダリング、またはインデックスされません。
外部リソースには独立したバイトカウンターがあります。 HTMLで参照されるCSSおよびJavaScriptファイルは、それぞれ独立した2MB制限を持ち、親ページの割り当てには含まれません。ただし、WRSは画像、動画、フォント、および一部の「特殊ファイル」をクロールしません。
WRSはステートレスです。 Webレンダリングサービスは、各リクエスト間でローカルストレージとセッションデータをクリアします。localStorageやsessionStorageに依存するJavaScript機能は、Googleのレンダリングでは利用できません。
海外向けウェブサイト構築への実際の影響分析
ほとんどの海外向けウェブサイトは心配無用
HTTP Archiveのデータによると、大多数のウェブページのHTMLサイズは2MBの閾値をはるかに下回っています。典型的な海外向け製品ページのHTMLサイズは通常100KB-500KBの範囲であり、2MBにはまだ余裕があります。
ただし、これらのタイプのページには注意が必要
以下のタイプの海外向けウェブページは、2MB制限に近づくか超える可能性があります：
- 大規模な製品カタログページ——数十から数百の製品カードを含むカテゴリページ
- インラインBase64画像を使用するページ——画像をHTMLに直接エンコードする
- 大量のインラインCSS/JavaScriptを使用するページ——スタイルやスクリプトを外部化していない
- 超大規模なナビゲーションメニュー——数百のリンクを含む巨大なナビゲーション構造
- 長文の製品説明ページ——大量の技術仕様やインラインスタイルを含むページ
HTTPリクエストヘッダーの隠れたコスト
大量のCookie、カスタムヘッダー、または複雑な認証メカニズムを使用する海外向けウェブサイトでは、HTTPリクエストヘッダーがかなりのスペースを占める可能性があります。ほとんどの場合、これは問題ではありませんが、2MB制限に近いページでは、すべてのバイトが重要です。
海外向けウェブサイト構築におけるページ最適化の実践的アプローチ
1. ページサイズの監査
まず、あなたのページにリスクがあるかどうかを確認します：
# curlを使用してページHTMLサイズを確認
curl -sL -o /dev/null -w '%{size_download}' https://your-site.com/your-page
戻り値が1.5MBに近いか超える場合は、真剣に最適化する必要があります。
より体系的な方法は、Chrome DevToolsのNetworkパネルを使用し、HTMLドキュメントリクエストをフィルタリングして、Transfer SizeとResponse Sizeを確認することです。
2. 重要なコンテンツを前方に配置
Googleは明確に推奨しています：Metaタグ、titleタグ、link要素、canonicalマークアップ、および構造化データは、HTMLの前方に表示されるべきです。 これは、ページが切り詰められた場合、後方のコンテンツが完全にインデックスされない可能性があるためです。
海外向けウェブサイトへの具体的な推奨事項：
- SEOに重要なMeta説明と構造化データを
<head>に配置する - 製品名、価格、コア説明などの重要な情報がHTMLソースの最初の1MB内に表示されるようにする
- FAQや長文コンテンツを製品のコア情報の後に配置する
3. CSSとJavaScriptの外部化
これは最も効果的なサイズ削減戦略です。各外部CSSおよびJavaScriptファイルには、それぞれ独立した2MBバイト制限があります：
- 大きなインラインCSSを外部スタイルシートに移動する
- インラインJavaScriptを外部スクリプトファイルに移動する
- CSS SpritesまたはSVGを使用して、インラインBase64画像を置き換える
海外向けウェブサイト構築でよくある間違いは、サードパーティのチャットツール、分析スクリプト、翻訳コンポーネントのCSSとJSをすべてHTMLにインラインで埋め込み、ページサイズを膨張させることです。
4. ナビゲーション構造の最適化
大規模な海外向けB2Bウェブサイトは、しばしば複雑な製品分類ナビゲーションを持ち、数百のリンクを含む可能性があります。最適化の推奨事項：
- JavaScriptを使用してサブメニューを動的にロードする——初期HTML内のナビゲーションマークアップを減らす
- シンプルなモバイルナビゲーションの使用を検討する——重複するナビゲーションHTMLを減らす
- noindex/nofollowを適切に使用する——ナビゲーションに低価値ページのリンクを含めないようにする
5. 製品カタログページのページネーション戦略
多数の製品を含むカテゴリページの場合：
- ページあたりの製品数を制限する——1ページあたり24-36製品以下を推奨
- 遅延ロードを使用する——JavaScriptを通じてさらに製品を動的にロードする
- 適切なページネーションを実装する——rel=next/prevまたは正しいcanonicalマークアップを使用する
6. 構造化データの最適化
構造化データ（JSON-LD）は、海外向けウェブサイトのGEO最適化の鍵ですが、ページサイズも増加させます：
- MicrodataではなくJSON-LD形式を使用する——よりコンパクトでHTML構造に影響を与えない
- 必要な属性のみをマークアップする——冗長なSchema属性を追加しない
- 構造化データを
<head>の末尾に配置する——可能な切り詰めポイントの前に確実に配置する
2MB制限は変更される可能性がある
Illyesはブログで特に言及しています：「この2MB制限は固定ではなく、ネットワークの発展とHTMLページサイズの増加に伴って変更される可能性があります。」 これは重要なシグナルです——ウェブページがますます複雑になるにつれて、Googleは将来この閾値を引き上げる可能性があります。
ただし、制限が引き上げられるまで、海外向けウェブサイト構築のベストプラクティスは、ページを簡潔に保ち、重要なコンテンツを前方に配置することです。
WRSのステートレス特性が海外向けウェブサイトに与える影響
あなたの海外向けウェブサイトが以下の技術を使用している場合は、特に注意が必要です：
- localStorageベースのショッピングカート——Googleはショッピングカートの状態をレンダリングできません
- セッション依存の製品表示——Googleの各訪問は常に新しい状態です
- A/Bテストツール——Googleがデフォルトバージョンを確認できるようにする
- 地域化コンテンツ——Googleは地域選択状態を保持しません
あなたのコア製品情報が、ステートレスレンダリング環境でも完全に表示されるようにしてください。
01CodeTechの見解
Googlebotの2MB制限は、ほとんどの海外向けウェブサイトにとって差し迫った問題ではありませんが、これらの技術詳細を理解することは、専門的なウェブサイト構築と深いSEO最適化の基礎です。競争の激しい海外市場では、技術SEOのすべての詳細が、競合他社を上回る優位性になる可能性があります。
01CodeTechは、海外向けウェブサイト構築において、「技術基盤が最適化の上限を決定する」という理念を一貫して堅持しています。私たちは、クライアントがウェブサイト構築の初期段階から、Googleの技術仕様に準拠したページアーキテクチャを確立し、将来の技術的負債を回避できるよう支援します。あなたの海外向けウェブサイトがGoogleのクローラーアーキテクチャ要件に完全に適合していることを確認したい場合は、01CodeTechをフォローして専門的な技術サポートを入手してください。
技術ソース：Google Developers Blog（Gary Illyes）、Search Off the Record Podcast Episode 105