WEBサイトGooglebot の内部: クロール、フェッチ、処理バイトの謎を解き明かす
Googlebot の内部: クロール、フェッチ、処理バイトの謎を解き明かす
【2026年最新】Googlebotの内部構造 — 2MB制限・15MBフェッチ・WRSの処理フローを完全解説
2026年3月、Google Search Central Blogが「Inside Googlebot」を公式公開し、クロール→フェッチ→レンダリングの内部アーキテクチャを初めて詳細に説明しました。最大の注目点はフェッチ15MB / インデックス2MBという二段階制限。これを正しく理解しないと、ページ後半のコンテンツが「存在しない」扱いになるリスクがあります。
バイト制限の全貌
- フェッチ vs インデックスの違い：
- Googlebotは最大15MBまでダウンロード可能——この部分は変更なし。しかしインデックス処理に渡されるのは先頭2MBのみ（HTTPヘッダー含む）。2MBを超えた部分はフェッチされず、レンダリングされず、インデックスもされない。PDFは例外で64MBまで対応。
- リソースの独立カウント：
- HTML内で参照される外部CSS・JavaScriptはそれぞれ独立した2MBカウンター。親ページのサイズには加算されない。つまり外部ファイル化すればHTML本体を軽量化でき、重要なテキストコンテンツを2MB以内に収められる。
- WRS（Web Rendering Service）：
- Googlebotがフェッチした2MBのHTMLをWRSが受け取り、完全なページとしてレンダリング。WRSもGooglebotと同じバイト制限でリソースを取得する。メディアファイル（画像・動画・フォント）は別枠。
実務で気をつけるべきポイント
- 2MB超えリスクのあるパターン：
- ①インラインbase64画像 ②大量のインラインCSS/JavaScript ③巨大なナビゲーション/メガメニュー ④1ページに数百件の商品リスト。Spotibo社のテストでは、意図的に2MB超のHTMLを作成した結果、後半のコンテンツが完全に無視された。
- 構造化データの配置：
- JSON-LDの構造化データがページ後半にある場合、2MB制限で切り捨てられるリスクあり。<head>内または本文の冒頭に配置することを推奨。当サイトでは全1,090ページの構造化データを<head>配置に統一済み。
- クロールバジェットの最適化：
- サーバーログを定期的に監視し、クロール頻度の変化を検知することが重要。サイトマップメーカーで正しいサイトマップを生成し、スピードチェッカーでページサイズを確認できる。
参照: サイトが遅い本当の理由 | あなたのサイトを30分で診断する | Google Search Central: Inside Googlebot | DebugBear: 2MB Limit
AI Ronの視点: Googlebotの内部動作、クロール・フェッチ・処理バイトの仕組み
Googlebotは単一のプログラムではなく、複数のクローラーが同じインフラを使用して動いています。現在、Googlebotは個々のURLから最大2MBを取得し、PDFは64MBまで対応していますが、2MBを超える部分は無視され、インデックス登録やレンダリングには影響しません。
HTMLを軽量に保ち、重要な要素を文書の上部に配置することで、このカットオフを避けることが推奨されています。サーバーログを監視し、レスポンス時間を管理することで、クロール頻度自体の最適化にもつながります。
実務でのチェックポイント
- サーバーログを分析してGooglebotの動作を確認する
- ページサイズを最適化してクロール効率を向上させる
- 重要なコンテンツがバイト制限に引っかからないように設計する
押さえておきたい関連トピック
クローリング・インデックス登録・ウェブレンダリングサービスの関係を理解することで、大規模なページでも重要情報が確実に読み取られる設計ができます。
初めて読む方へのポイント
この記事は一次情報・業界ニュースの要点整理として当サイトが追跡している素材の一つです。実務での判断材料としては、まず元記事本文で文脈を確認し、自社サイトの状況と照らし合わせて優先度を判断することをおすすめします。
出典・参考情報
- 現在、Googlebotは最大2MBのデータを取得し、PDFファイルは64MBまで対応可能。
- 2MBを超えるデータは無視され、インデックス登録やレンダリングには影響しない。
- HTMLは軽量に保ち、重要な要素を上部に配置することで、カットオフを避けることが推奨される。
- サーバーログを監視し、レスポンス時間を管理することで、Googlebotのクロール頻度を最適化できる。
この記事でこんな事が
学べそうですね
ポイント要約
Googlebotの内部動作とクロールにおけるバイト制限について解説。特に、2MBの上限がインデックス登録に与える影響を理解することが重要です。
このトピックで身につけるべきスキル
- 1Googlebotは単一のプログラムではなく、複数のクローラーが存在することを理解する。Googlebotの動作を理解するための公式ドキュメント見てみるGooglebotの基本的な動作とクロールの仕組みを学ぶのに最適なリソース
- 2クロール時のバイト制限がインデックス登録に与える影響を学ぶ。クロールバジェットの最適化に関するガイド見てみるクロールバジェットを最適化するための戦略を学べるリソース
- 3HTMLファイルのサイズが2MBを超える場合の処理を理解する。インデックス登録の最適化に関するコース見てみるSEOの基礎からインデックス登録の最適化まで学べるコース
- 4JavaScriptやCSSの影響を考慮したページ設計の重要性を認識する。HTMLとCSSの最適化に関するリソース見てみるHTMLの基本と最適化手法を学ぶためのリソース
- 5Googlebotの動作を最適化するための設定方法を学ぶ。JavaScriptの最適化に関するガイド見てみるJavaScriptを最適化するためのテクニックを学べるリソース
学習の要点
重要キーワード・学習リソース
本記事の参照元
Googlebot の内部: クロール、フェッチ、処理バイトの謎を解き明かす
出典: Google検索セントラルブログ
現在の貴方のIPアドレス
このサイトで書いている人
