誤解されているGooglebot、社内SaaSとしてのクロールインフラの実態

「SaaSとしてのGooglebot」が意味すること

• 共有インフラの実態：

  Googlebotは社内で「Jack」と呼ばれるクロール基盤の1クライアントに過ぎない。Google Shopping、AdSense、Google Newsなど数十のサービスが同じインフラを共有。デフォルトのフェッチ上限は15MBだが、Googlebotは独自に2MBに設定している。

• クローラーとフェッチャーの違い：

  クローラー（Googlebot等）はURL発見とインデックスが目的。フェッチャー（AdsBot等）はユーザーリクエストに応じた一時取得が目的。robots.txtを遵守するのはクローラーのみ——フェッチャーはrobots.txtを無視する仕様。

• 未公開クローラーの存在：

  Googleは主要なクローラーとフェッチャーのみ公開しているが、社内には数百の未公開クローラーが存在する（ALM Corp調査）。これらは検索には影響しないが、サーバー負荷の要因になり得る。

クロールバジェットへの実務的影響

• 無駄なクロールの規模：

  Eコマースサイト35件以上の監査結果によると、GooglebotがクロールしたURLの平均38%がオーガニックトラフィックゼロ——クロール予算が本来重要なページに回っていない。

• マルチボット時代の負荷管理：

  2026年はAI学習クローラー（GPTBot、ClaudeBot、Bytespider等）も同時にサーバーを叩く。クロール管理は「Googlebot対策」から「マルチボット・ガバナンス」へ進化。ボット分類ごとにallow/block/rate-limitのポリシーマトリクスが必要。

• 速度がクロール頻度を決める：

  サーバー応答が遅いとGooglebotは自動的にクロール頻度をスロットリング（絞り込み）する。10,000ページ超のサイトでは、レスポンスタイム改善がインデックス速度に直結する。

今すぐ確認すべき3つのアクション

1. スピードチェッカーでサーバー応答速度を確認（200ms以下が理想）
2. robots.txtで不要なパスをDisallowし、クロール予算を重要ページに集中
3. サイトアナライザーでクロールエラー・リダイレクトチェーンを定期点検