WEBサイトクロールとインデックスに関わる5つの現象
クロールとインデックスに関わる5つの現象
【2026年最新】クロールとインデックスの5つの現象 — 2MB制限・レンダリングキュー・マルチボット時代の実態
2026年3月、Googleの Gary Illyes が Googlebot の内部構造を初めて詳細に公開しました。2MB制限の真の意味、レンダリングキューの実態、そしてGooglebotが実は「共有インフラの一クライアント」に過ぎないという衝撃の事実——クロールとインデックスに影響する5つの現象を最新情報で解説します。
現象1：2MB制限の真実 — 切り捨てられるのは何か
- 制限の正確な仕様：
- GooglebotはHTTPヘッダーを含む最初の2MBのみをダウンロード。超過分は「取得されない、レンダリングされない、インデックスされない」——完全に無視される。ただしページ自体は拒否されない。2MB以内の部分は通常通り処理される。
- 外部リソースにも同じ制限：
- HTMLだけでなく、外部CSS・JavaScriptファイルそれぞれにも個別に2MB制限が適用される。巨大なJSバンドルの後半が切り捨てられ、レンダリング結果が変わる可能性がある。
- 対策の鉄則：
<title>、<meta>、canonical、構造化データなどの重要要素をHTML上部に配置する。CSS/JSは外部ファイル化してHTMLを軽量に保つ。スピードチェッカーでページサイズを常時監視。
現象2：レンダリングキューのボトルネック
- 2段階のプロセス：
- GooglebotはまずHTMLをダウンロードし、JavaScript依存のページは別のレンダリングキュー（WRS: Web Rendering Service）に入る。WRSがJSを実行して最終的なDOMを解析するが、このキュー待ちがインデックス遅延の主要因。
- WRSの処理内容：
- WRSはJavaScript・CSSの実行、XHRリクエストの処理まで行い、ページの「テキスト内容と構造」を理解する。しかしリソース集約的であるため、JS依存の大規模サイトほど遅延が大きくなる。
- SSR/SSGの優位性：
- サーバーサイドレンダリング（SSR）や静的サイト生成（SSG）であれば、レンダリングキューを完全にスキップできる。インデックス速度で最大数日〜数週間のアドバンテージが生まれる。
現象3：Googlebotは「共有インフラの一クライアント」
- 集中型クロールプラットフォーム：
- Google Shopping、AdSense、その他のプロダクトも同じクローリング基盤を使用。Googlebotは多数のクライアントの一つに過ぎず、クローラー名が異なるだけでインフラは共有されている。
- マルチボット時代の衝突：
- 2026年はGooglebotだけでなく、AI学習用クローラー（GPTBot、Claude-Web、Geminibot等）、検索ボット、ユーザーアクションボットが同時にサーバーを叩く。クロールガバナンスは「Googlebot問題」ではなく「マルチボット問題」になった。
現象4・5：クロール予算の新しい考え方と実践的対策
- 現象4 — インフラ速度 > ページ数：
- Gary Illyes が強調したのは「ボトルネックはページ数ではなくインフラがページを高速に提供できるか」。サーバーレスポンスが遅ければGooglebotは自動的にクロール頻度を下げる。つまりサイト速度はSEO以前にクロール機会そのものに直結する。
- 現象5 — 「未インデックス10-15%問題」：
- Search Consoleの「検出 — インデックス未登録」が提出URLの10〜15%以上かつ1万ページ超のサイトでは、クロール予算が足りていない明確なサイン。サイトマップの最適化（サイトマップメーカーで対応）、不要ページのnoindex化、内部リンク構造の改善が急務。
- インデックス再登録されたページを基に、クロールとインデックスに関する5つの現象が観測された。
- X（旧Twitter）のポストが記事No367のインデックス再登録を促進した。特に、フィギュアスケートの検索増加が影響。
- 記事No367のアーカイブページもインデックス更新され、ナビゲーションリンクがクロールに影響を与えた。
- HTTPS表示の流れが変化し、ネガティブSEOの可能性が示唆された。
- ドメイントップページのインデックス更新が停止しており、netドメインのrobotstxtファイルが関与している可能性がある。
- X（旧Twitter）のポストが記事No367のインデックス再登録を促進した。特に、フィギュアスケートの検索増加が影響。
- 記事No367のアーカイブページもインデックス更新され、ナビゲーションリンクがクロールに影響を与えた。
- HTTPS表示の流れが変化し、ネガティブSEOの可能性が示唆された。
- ドメイントップページのインデックス更新が停止しており、netドメインのrobotstxtファイルが関与している可能性がある。
この記事でこんな事が
学べそうですね
SEO
ポイント要約
クロールとインデックスに関連する5つの現象を観察し、特にX（旧Twitter）のポストがインデックス再登録に与える影響を検証した内容。
このトピックで身につけるべきスキル
- 1クロールとインデックスの基本的な仕組みを理解すること。Googleのクロールとインデックスに関する公式ガイド見てみるクロールとインデックスの基本を学ぶための公式リソース
- 2ソーシャルメディアがSEOに与える影響を把握すること。SEOのためのソーシャルメディア活用法見てみるソーシャルメディアがSEOに与える影響について学べるリソース
- 3Googlebotの動作とその影響を分析するスキルを身につけること。Googlebotの動作を理解するためのリソース見てみるGooglebotのクロールとインデックスの仕組みを詳しく学べる
- 4インデックス再登録のメカニズムを学ぶこと。インデックス再登録のメカニズムを学ぶ見てみるインデックス再登録についての詳細な解説
- 5トラフィックとSEOの関連性を理解すること。トラフィックとSEOの関連性を学ぶ見てみるトラフィックとSEOの関係性についての統計データ
学習の要点
重要キーワード・学習リソース
本記事の参照元
クロールとインデックスに関わる5つの現象
出典: Yahoo seo Google
2025/05/31
THU
00:00:00
現在の貴方のIPアドレス
216.73.216.58
このサイトで書いている人
株式会社ツクルン
Webアドバイジング・クリエイター
池田南美夫
もうすぐ●●歳。ずっーと現役SE。日本にインターネットが上陸してから、ずっーと携わる。
ほんとは超アナログ人間のギター弾き、バンドマン。でも音楽活動とSE、案外似てる。