Google クローラーの IP 範囲ファイルの新しい場所

Googleクローラーとは — 定義と仕組み

Googleクローラー（Googlebot）とは、Googleの検索インデックスを構築するためにWebページを定期的に巡回・取得するプログラムです。HTML・CSS・JavaScript・画像をダウンロードし、内容を解析してインデックスデータベースに格納します。Googleクローラーは複数の種類があり、用途・対象サービスごとに分かれています:

• Googlebot Smartphone: モバイルファーストインデックス用（2026年は事実上の標準）
• Googlebot Desktop: デスクトップ表示確認用
• Googlebot Image / Video / News: 画像・動画・ニュース専用
• AdsBot: 広告品質チェック用（robots.txt の Googlebot 禁止指示は無視）
• Mediapartners-Google: AdSense配信判定用

これらすべてが共通の IP 範囲ファイルから提供される IP プレフィックス群を使用しています。今回の移転は、この IP 範囲ファイルの提供エンドポイントが変わったというものです。

移転の詳細と技術的変更点

• 新旧パスの対比：

  旧: developers.google.com/search/apis/ipranges/ → 新: developers.google.com/crawling/ipranges/。「search」から「crawling」への変更は、このIP範囲がGoogle検索だけでなく全Googleクローラーに適用されることを反映。

• Googlebotは全クロール基盤の1つ：

  Googleのクロールインフラは社内SaaSとして機能し、Google Shopping、AdSense、Google News等数十のサービスが同じIP範囲を共有。IP範囲ファイルの「検索API」配下は実態に合っていなかった。

• gstatic.comの直接エンドポイント：

  IP範囲データ自体は https://www.gstatic.com/ipranges/goog.json からも取得可能。ドキュメントページとは別に、この直接エンドポイントも活用すべき。

⚠️ 6ヶ月の猶予はもうない — 4/7に旧エンドポイントは既に死んでいた

「公式の6ヶ月」と「実態の8日」の乖離

Googleの公式アナウンスは「6ヶ月の移行期間」でしたが、現場の観測では2026年4月7日 09:42:16 UTC（発表からわずか8日後）に旧 URL は既に IP データ返却を停止していたことが MERJ レポートで明らかになりました。一部のレスポンスは2026年3月3日のタイムスタンプ + わずか4 IP プレフィックスのみ、一部は IP データなしの JSON メッセージで返り、silent failを引き起こしています。

「6ヶ月以内に対応」という前提は実態として崩れています。今すぐの対応が必要です。

出典: MERJ blog: Update Your Google Crawler IP Range Endpoints

silent fail の罠 — 旧 URL は 404 ではなく「壊れた JSON」を返す

もし旧 URL が単純に 404 を返すなら、運用側のスクリプトはエラーで停止し、すぐに気づきます。しかし実態は「200 OK + 不完全な JSON データ」を返しているため、自動取得スクリプトは「正常動作」と判定し、古い・不完全な IP リストで Googlebot 判定を続けてしまいます。これが silent fail の最大の罠です。

ファイルリネームの罠 — googlebot.json → common-crawlers.json

移転は単なるディレクトリ変更ではありません。ファイル名そのものも変わっています。旧 /search/apis/ipranges/googlebot.json をディレクトリだけ書き換えて /crawling/ipranges/googlebot.json としても 404 になります。新パスは /crawling/ipranges/common-crawlers.json です。

出典: Google Search Central Blog 2026-03 / ALM Corp

新 URL での 4 種類のクローラーカテゴリ

出典: Google for Developers - Common Crawlers

旧URL vs 新URL の挙動比較

影響を受ける運用と対策 — 6つのチェック項目

• WAF / Web Application Firewall ルール：

  クローラー IP のホワイトリストに旧 URL から自動取得している場合、新パスからの定期取得に切り替え。1,800+ IP は不定期に更新される

• ファイアウォール / ACL（Access Control List）：

  サーバー前段の ACL で Google IP を許可している場合、参照先 URL の更新が必要

• レートリミット設定：

  Googlebot に対して特別なレートリミットを設けている場合、IP 判定基盤の更新を確認

• オリジンプロテクション（CDN前段）：

  CloudFlare 等のオリジン保護機能で Googlebot を許可している場合、IP データソースの更新

• ログ分類スクリプト：

  アクセスログを Googlebot とその他に分類しているスクリプトの IP マスタの更新

• Googlebot 検証スクリプト：

  IP アドレスで Googlebot の真正性を検証するスクリプトの参照先 URL を更新。Google 公式の DNS 逆引き検証（host コマンド）が IP リストよりも信頼性が高い補助手段

WAF で Googlebot ホワイトリスト設定方法 — 4つの主要 WAF 別手順

WAF（Web Application Firewall）に Googlebot のホワイトリストを設定する標準的な手順は、製品ごとに以下の通りです。すべて新しい IP 範囲ファイル URLからの自動取得を前提とします:

シンプルな自動取得スクリプト例（cron で日次実行）:

#!/bin/bash
# fetch new IP ranges and validate
URL="https://developers.google.com/static/crawling/ipranges/common-crawlers.json"
TMP=$(mktemp)
curl -fsSL "$URL" -o "$TMP" || { echo "FETCH FAILED"; exit 1; }

# silent fail check — IP count threshold validation
COUNT=$(jq '.prefixes | length' "$TMP")
[ "$COUNT" -lt 50 ] && { echo "WARN: only $COUNT prefixes — possible silent fail"; exit 1; }

# atomic update
mv "$TMP" /etc/waf/google-ip-ranges.json
systemctl reload nginx

silent fail による SEO 影響 — 観測事例と統計

4/7 早期停止以降、不完全な JSON を返す旧エンドポイントを参照し続けた組織で観測された SEO 影響は以下の通りです（業界レポート集計、2026年4月〜5月）:

• Googlebot 誤判定率: 不完全な IP リスト（4 IP のみ）使用組織で、本物の Googlebot を「不審な bot」として 403 ブロックする事例が増加
• 影響規模: 旧 URL を programmatic 取得していた組織のうち、推定 30〜45% が silent fail に気づかずに運用継続
• クロール効率低下: 一部サイトで Googlebot のクロール頻度が 4月7日以降に 20〜35% 低下、一部 URL のクロール完全停止
• 復旧までの平均時間: silent fail 発覚から修正完了まで平均 14日（運用ログ調査・スクリプト書き換え・WAF設定変更を含む）

これらの数字は、「定期的な IP 数の妥当性チェック」を運用に組み込んでいなかった組織で発生しています。前掲のスクリプト例にあるCOUNT < 50 のような閾値チェックがあれば防げた問題です。

出典: MERJ blog + 業界SEOコミュニティの観測集計

企業サイト運用事例 — 移転対応のパターン3つ

2026年5月時点で、IP 範囲移転への対応として観測された3つの企業運用パターン:

業界の総括（評判・レビュー）: 移転自体は技術的に難しい作業ではないものの、「6ヶ月の猶予」公式アナウンスと「8日後に silent fail」現場実態の乖離が組織の運用文化を試したと評価されています。検証ロジック・閾値チェック・監視 alert を運用に組み込んでいた組織は被害ゼロ、組み込んでいなかった組織は気づくのに 14日かかったという温度差が浮き彫りになりました。

出典: MERJ blog / SEO業界フォーラム集計（2026/4-5）

マルチボット時代の検証 — 2026年現状 + 自動化スクリプト

2026年は AI 学習クローラー（GPTBot、ClaudeBot、PerplexityBot 等）も含めたボット検証が必要です。Google 公式の DNS 逆引き検証（host コマンド）が最も信頼性の高い方法。IP範囲ファイルは補助的手段と位置づけ、本番環境では DNS 逆引き + IP 範囲の二重チェックを推奨します。

影響範囲を programmatic に取得する組織のみが今回の移転で深刻な影響を受けます。人間が手動コピーして使っている運用は影響軽微ですが、「自動取得運用 vs 手動コピー運用」の選択は2026年の AI クローラー時代では自動取得が標準です。

マルチボット判定の自動化スクリプト例（DNS 逆引き + IP 範囲の二重チェック）:

#!/usr/bin/env python3
# verify_googlebot.py — DNS reverse lookup + IP range cross-check
import socket, json, sys, ipaddress

def verify(client_ip, ip_ranges_file='/etc/waf/google-ip-ranges.json'):
    # Step 1: DNS reverse lookup
    try:
        host = socket.gethostbyaddr(client_ip)[0]
    except Exception:
        return False, 'DNS reverse lookup failed'
    if not (host.endswith('.googlebot.com') or host.endswith('.google.com')):
        return False, f'Hostname {host} not Google'

    # Step 2: Forward DNS confirmation
    try:
        if client_ip not in socket.gethostbyname_ex(host)[2]:
            return False, 'Forward DNS mismatch'
    except Exception:
        return False, 'Forward DNS lookup failed'

    # Step 3: IP range cross-check
    with open(ip_ranges_file) as f:
        ranges = json.load(f)['prefixes']
    addr = ipaddress.ip_address(client_ip)
    for pfx in ranges:
        net_str = pfx.get('ipv4Prefix') or pfx.get('ipv6Prefix')
        if net_str and addr in ipaddress.ip_network(net_str):
            return True, f'Verified Googlebot ({host})'
    return False, 'Not in published Google IP ranges'

if __name__ == '__main__':
    ok, msg = verify(sys.argv[1])
    print(('OK: ' if ok else 'NG: ') + msg)
    sys.exit(0 if ok else 1)

このスクリプトは DNS 逆引き + 順引き確認 + IP 範囲チェックの3層検証で、なりすまし bot を確実に弾けます。WAF・nginx・アプリケーション層のいずれにも組み込み可能です。

移行チェックリスト

1. 自社のスクリプト・ドキュメントで旧パス（/search/apis/ipranges/）を検索し新パスに更新
2. ファイル名も googlebot.json → common-crawlers.json に変更（必須）
3. WAF / CDN 設定で Googlebot ホワイトリストの自動更新を確認
4. レスポンスの完全性をチェックする検証ロジックを追加（IP数が極端に少ない場合は警告）
5. DNS 逆引き検証を併用するロジックを追加
6. サイトアナライザーでクローラーアクセスログを確認し、想定外のボットを特定