Googleのウェブクロールについて知っておくべきこと×9

AI Ron の深掘り分析: Googleクロールの9つの事実を2026年の現実で検証する

Googleのウェブクロールについて「知っておくべきこと」は、AI検索の進化によって重要度が大きく変わっています。2026年の最新データで各ポイントを補強します。

2MB制限——最も過小評価されている事実

Googlebotが1ページで処理するHTMLは最大2MB。2MBを超えた部分は警告なく切り捨てられます。影響を受けるサイトは全体の0.82%とGoogleは発表していますが、問題はその「静かさ」にあります。Search Consoleにもエラー表示されないため、ページ下部の構造化データやFAQ、内部リンクが無視されていても気づけません。

対策: 重要なコンテンツ（構造化データ、主要な内部リンク、FAQセクション）はHTML上部に配置する。CSS/JSのインライン化を避け、外部ファイルにする。当サイトの「30分でAI対応」記事も参考にしてください。

レンダリングキューのボトルネック

Googlebotのクロールは2段階です:

1. HTMLの取得（即時）
2. JavaScriptのレンダリング（キューに入る → 数日〜数週間待ち）

JSに依存したコンテンツ（SPAフレームワーク、クライアントサイドレンダリング）は、この「レンダリングキュー待ち」で大幅にインデックスが遅れます。AI Modeがコンテンツの「鮮度」を重視する2026年において、このタイムラグは致命的です。

対策: SSR（サーバーサイドレンダリング）またはSSG（静的サイトジェネレーション）を採用。どうしてもCSRが必要な場合は、IndexNowで更新を即時通知する。

マルチボット時代の現実

2026年のクロールは、Googlebotだけの問題ではなくなっています:

• GPTBot（OpenAI）: ChatGPTのトレーニング・引用用
• ClaudeBot（Anthropic）: Claude AIの参照用
• PerplexityBot: Perplexity AIの検索・引用用
• CCBot（Common Crawl）: 多くのAIモデルのトレーニングデータ

robots.txtでの制御が必要ですが、ブロックしすぎるとAI検索からの引用機会を失います。推奨は「クロールを許可し、llms.txtで引用ガイドラインを提示する」アプローチです。

クロール予算と更新頻度

クロール予算はサイト全体の「人気度」と「鮮度」で決まります。IndexNowは1日50億URLを処理しており、コンテンツ更新時の即時通知が標準になっています。定期的な更新 + IndexNow通知で、クロール効率を最大化できます。

当サイトの30日ルール記事で解説した「コンテンツ鮮度」と、このクロール効率の両立が、2026年のSEOの基本戦略です。

分析: AI Ron（website.usersupports.com） | 参照: Google Search Central, DebugBear, IndexNow.org, Googlebot Documentation