GoogleはCDNへ切り替えた直後にクロールが増える理由を書き、確認済みのクローラーを止めない設定と、一時の429か503を示した ── 切り替えの前に配信元とボット対策を確かめる13項目(2026年11月時点)
GoogleはCDNへ切り替えた直後にクロールが増える理由を書き、確認済みのクローラーを止めない設定と、一時の429か503を示した ── 切り替えの前に配信元とボット対策を確かめる13項目(2026年11月時点)
目次
- 01 何が書いてあるか — CDNに切り替えた直後は、速くなった応答に合わせてクロールが増え、空のキャッシュのせいで配信元に届く
- 02 なぜ・背景 — クロールの量は、サーバーの「元気さ」を見て決まる。速くなれば、増える
- 03 用語 — 「届かなくなる」と「止まる」を、言葉で分けておく
- 04 型別 — 適用範囲、書かれていないこと、確かめる手順
- 05 明日、担当サイトで確認できること
- 06 代替・他の選択肢 — 通信を減らす手段は、目的ごとに違う
- 07 当サイトで確かめたこと — この記事の時点では、確かめていない
- 08 このテーマの、ここまで — 自動の通信を「通す」と「止める」の間で
- 09 この記事のまとめ
01 何が書いてあるか — CDNに切り替えた直後は、速くなった応答に合わせてクロールが増え、空のキャッシュのせいで配信元に届く
出典について
この記事は、2026年11月16日に開いて読んだ次のページの内容を書いている。中心は、Google Search CentralのブログMoving to a CDN without overwhelming your origin (or blocking Googlebot)である。ページの上端には「Wednesday, November 11, 2026」(2026年11月11日(水))という表示があった。ただし、これを公開日だと書いたページの文は見つからなかったので、この記事では、公開日とは言い切らず、ページ上端の表示として書く。あわせて、Google検索セントラルのReduce the Google crawl rate(ページの表示で、最終更新は2026年10月6日(UTC))、Optimize your crawl budget(最終更新は2026年7月22日(UTC))、Verify requests from Google crawlers and fetchers(最終更新は2026年3月20日(UTC))、Search ConsoleヘルプのCrawl Stats report、MDN Web Docsの429 Too Many Requestsと503 Service Unavailableを読んだ。英語の文は、ページの本文を取り直して照らしたものだけを引用し、訳は筆者がつけた。読んだページに書かれていなかったことは、書かれていなかったと書き、この記事では確かめていない。
ブログが書いた問題
ブログは、CDN(Content Delivery Network)を、サイトの素材を、利用者に近い世界中の速いエッジのサーバーに配る仕組みと説明し、利用者の待ち時間を減らし、配信元のサーバー(元の内容を持つ裏側のサーバー)を、重い通信から守れると書く。そのうえで、次の話を始める。サイトの運営者から、CDNの背後に置いた直後に、クローラーからサーバーへの通信が急に増えた、という声を聞くことがある、という話である。
ブログは、その理由を、キャッシュが埋まる前は、利用者の訪問もクローラーの要求も、まだ配信元から直接取る必要があるから、と書く。CDNは、配信元を守るために入れたのに、切り替えた直後だけ、逆のことが起きうる。公式が書いたのは、この「切り替えの途中」の奇妙な時期の話である。
3つの対策と、3行のまとめ
ブログが示す対策は、3つである。1つ目は、ボットを止めるなら、確認済みのボットは通すこと。2つ目は、本番の通信を流す前に、重要なページのキャッシュを先に温めること。3つ目は、配信元に重い負荷が続くなら、短い時間だけ、429か503を返すことである。ブログの末尾には、3行のまとめがある。応答が速いと、クロールが速くなる。キャッシュが守るのは2回目の訪問から。必要なら、確認済みのクローラーを、ボット対策から外す。この3つが、この記事の骨組みになる。
| 段階 | 起きること(ブログが書くこと) | 公式が書く対策 |
|---|---|---|
| DNSを切り替える | 接続と応答が速くなり、Googleのクロールが、サーバーが増強されたように見て、要求の数を増やす | 切り替えの前に、重要なページを先に取っておく |
| キャッシュが空 | 初めて取るURLは、エッジに写しが無く、配信元まで取りに行く | 確認済みのボットを通し、必要なら短い時間だけ429か503 |
| ボット対策が強い | CAPTCHAなどの挑戦画面で、Googleのクローラーが失敗する | 確認済みのボットは、ボット対策から外す |
日付の読み方
ブログのページ上端には、2026年11月11日(水)の表示がある。読んだページの本文には、この日付が公開日だと説明する文は無かった。この記事は、2026年11月11日という表示のあるページを、11月16日に読んだという事実だけを書き、公開日とは決めない。公式の日付の扱いは、ページごとに違うので、書かれていない日付を、書かれたものとして使わない。
02 なぜ・背景 — クロールの量は、サーバーの「元気さ」を見て決まる。速くなれば、増える
クロールの上限は、応答の速さと安定で上下する
ブログは、クロールが増える理由を、Googleのクロールの仕組みから説明する。サイトに対するクロールの上限(crawl capacity limit。別名hostload)は、サーバーの応答で変わる。ブログは、"Slower and slower responses decrease crawl rate."(訳: 応答がだんだん遅くなると、クロールの速さは下がる)と書き、反対に、サーバーが速く安定して答えれば、クロール需要がある限り、クロールの上限が少しずつ上がる、と書く。
DNSを速いCDNのエッジに向けた瞬間、接続時間と応答時間は大きく下がる。ブログは、"To our crawling systems, it looks like your server just got a massive hardware upgrade, so our crawlers start ramping up their request rate to match."(訳: 私たちのクロールの仕組みには、サーバーが大規模にハードウェアを強化したように見えるので、クローラーは、それに合わせて要求の数を上げ始める)と書く。CDNが速いことが、そのまま、クロールを増やす合図になる。
クロールの上限は、サイトの全クローラーで共有される
クロールの予算の公式ページ(最終更新は表示で2026年7月22日(UTC))は、サイトを、ホスト名の単位で扱うと書く。たとえば、www.example.com と code.example.com は、別のサイトとして扱われ、別のクロールの予算を持つ。さらに、"While each crawler has a different crawl demand, the crawl capacity limit is shared across all crawlers."(訳: クローラーごとにクロールの需要は違うが、クロールの上限は、すべてのクローラーで共有される)と書く。1つのクローラーの需要が高いと、ほかのクローラーが使える分が減る、という説明も続く。
用語
配信元(オリジン)は、サイトの元の内容を持つ、裏側のサーバーのこと。エッジは、CDNが利用者の近くに置く、写しを配るサーバーのこと。ブログは、配信元を、元の内容を持つ裏側のサーバーと説明する。エッジに写しがあれば、配信元には届かない。無ければ、エッジが配信元へ取りに行く。
人の訪問と、クローラーの訪問は、集まり方が違う
ブログは、もう1つの理由を挙げる。人の訪問は、トップページ、人気の記事、販売中の企画といった、比較的少数の人気のページに集まる。そのため、人気のページは、CDNのキャッシュに、すぐ載る。一方、クローラーは、正反対の動きをする。クローラーの仕事は、サイトのURLの全体を、広く順に調べることだからである。人の訪問でキャッシュが埋まる範囲と、クローラーが取りに来る範囲は、ずれる。キャッシュに無いURLを初めて取るたびに、配信元まで要求が届く。
03 用語 — 「届かなくなる」と「止まる」を、言葉で分けておく
この記事で使う8つの言葉
表は、読んだページの説明を、筆者が整理したものである。右の列に、読んだページを書いた。
| 言葉 | 公式の文書が書く意味 | 読んだページ |
|---|---|---|
| キャッシュのミス | エッジに写しが無く、配信元へ取りに行く要求 | 公式ブログ |
| キャッシュのヒット | 2回目以降の要求を、エッジの写しで返すこと。配信元には届かない | 公式ブログ |
| 温める(プリウォーム) | 本番の通信を流す前に、重要なURLを、CDN経由で取っておくこと | 公式ブログ |
| クロールの上限(hostload) | サーバーが、Googleのために接続を開いておく合計の時間を限る値 | クロールの予算のページ |
| 確認済みのクローラー | Googleの公開するIPアドレスの範囲などで、本物と確かめられたクローラー | 公式ブログ、確認方法のページ |
| 挑戦画面 | CAPTCHAなど、自動の通信か人かを試す画面。Googleのクローラーは通れない | 公式ブログ |
| 429 | 短い間に要求が多すぎることを返すステータス | MDN、緊急の減らし方のページ |
| 503 | サーバーが要求を処理する準備ができていないことを返すステータス | MDN、緊急の減らし方のページ |
429と503は、どう違うか
MDNは、429を、"The HTTP 429 Too Many Requests client error response status code indicates the client has sent too many requests in a given amount of time."(訳: HTTPの429 Too Many Requestsというクライアントエラーの応答は、クライアントが、一定の時間に、多すぎる要求を送ったことを示す)と説明する。503については、メンテナンスや過負荷で、サーバーが要求を処理する準備ができていないときに使うと書き、そのうえで、"If requests from specific clients are being restricted due to rate limiting, the appropriate response is 429 Too Many Requests."(訳: 特定のクライアントからの要求が、流量の制限のために制限されているなら、適切な応答は429 Too Many Requestsである)と書く。
一方、Googleの緊急の減らし方のページは、500、503、429のどれかを返すよう書く。クローラーの流量を減らす目的の応答として、Googleが挙げるのは、この3つである。MDNは、使い分けの目安を書く側で、Googleは、返すべきコードを書く側、と読める。
注意
429や503を返す設定は、CDNのキャッシュに残らないようにする。MDNは、503について、"a 503 indicates a temporary issue and responses shouldn't usually be cached as clients may receive outdated error pages after a fix has been deployed."(訳: 503は一時的な問題を示し、直したあとに、利用者が古いエラーの画面を受け取ることがあるので、通常、応答はキャッシュされるべきではない)と書く。エッジに、エラーの写しが残らないかは、設定のあとに確かめる。
04 型別 — 適用範囲、書かれていないこと、確かめる手順
適用範囲: どのサイトの話か
ブログが書く対象は、CDNをこれから入れるサイト、または入れて間もないサイトである。サイトの規模の条件は、ブログには書かれていない。ただし、クロールの予算の公式ページは、クロールの予算を気にするべき大きなサイトの条件を、別に書いている。そこには、100万ページ以上で週に1回ほど内容が変わるサイト、1万ページ以上で毎日急速に変わるサイトなどが挙がり、数字は、おおよその目安で、正確な基準ではない、とも書く。ページが公開した日のうちにクロールされているなら、このガイドは読まなくてよい、とも書く。
ブログは、サイトの規模の条件を書いていない。以下は、筆者の考えである。ブログの説明の通りなら、小さなサイトでも、応答が速くなれば、クロールの上限は上がりうる。配信元の余力が小さければ、短い間の増え方でも、影響は出うる。切り替えの前に、配信元がどのくらいの通信に耐えられるかを知っておくことが、規模に関わらず役に立つと考える。
確かめていないこと
この記事は、次のことを確かめていない。クロールが何倍になるかという数字。キャッシュが温まるまでに、何時間かかるか。温めるときの、1秒あたりの要求の数の目安。どのCDNが、確認済みのボットの許可の設定を持っているか。ブログが書く「短い間」を超えて、何日までなら安全か。読んだページには、これらの説明が見つからなかった。書かれていないことを、書かれていないまま持っておくのが、この記事の立場である。
手順: 切り替えの前と後で確かめる順番
手順は、次の5段にする。1つ目は、切り替える対象のホスト名を書き出す。2つ目は、Search Consoleの「クロールの統計情報」で、今のクロールの量と応答時間、ホストの状態を、控える。3つ目は、CDNやWAFのボット対策の設定を開き、確認済みのクローラーが通る設定になっているかを見る。4つ目は、アクセスの多いページと、クローラーがよく取りに来るURLを、切り替えの前に、CDN経由で取っておく一覧にする。5つ目は、配信元が重くなったときに、429か503を返す条件と時間を、先に決めておく。複数のページの状態を、まとめて確かめたいときは、🔧 WEBサイト総合分析・レポートツールで、URLを入れて、ページの状態を一括で見られる。
実務のヒント
切り替えの前に、robots.txtが、CDN経由でも、正しく返るかを確かめる。Search Consoleのヘルプは、"Google will slow or stop crawling your site until it can get an acceptable robots.txt response."(訳: Googleは、受け入れられるrobots.txtの応答が得られるまで、サイトのクロールを遅くするか、止める)と書く。robots.txtが、有効なファイルか、存在しないことを示す404のどちらかで返らないと、クロールが止まりうる。
05 明日、担当サイトで確認できること
このリストの使い方
このリストは、公式のページ、Search Console、CDNやWAFの設定画面、サーバーのアクセスのログを開いた状態で、上から順に進める。画面の名前は、時期や言語で違うことがあるので、近い名前の項目で読み替える。チェックの状態は、ブラウザに保存され、サーバーには送られない。数を書く項目は、記録の表に書き写す。CDNの切り替えの予定が無いサイトも、1〜3、9の公式ページの書き写しだけは、同じ手順で行える。
13項目
- Google Search Centralの「Moving to a CDN without overwhelming your origin」を開き、ページ上端の日付の表示と、3行のまとめを、記録の表に書き写す
- 「Reduce the Google crawl rate」のページを開き、緊急に減らすときに返すと書かれた3つのステータスコードを、記録の表に書き出す
- 同じページで、返す期間の目安(数時間から1〜2日)と、それより長く続けたときに公式が書く影響を、記録の表に1行書く
- 切り替える対象のホスト名(wwwや画像用など)を、すべて書き出して、数を書く
- Search Consoleの「クロールの統計情報」を開き、直近90日の、1日の総クロール数が最も多かった日の値と平均応答時間を、記録の表に書く
- 同じ画面で、ホストの状態が、ページに書かれた3つの説明のどれに当たるかを、記録の表に書く
- CDNやWAFの設定画面を開き、ボット対策(挑戦画面やCAPTCHAなど)が、有効か無効かを、記録の表に書く
- ボット対策が有効なら、確認済みのボットを許可する設定が、有効・無効・見つからない、のどれかを書く
- Googleの「Verify requests from Google crawlers and fetchers」のページを開き、確かめる方法の2つ(逆引きと正引き、公開されたIPアドレスの一覧)を、書き出す
- CDN経由のURLで、robots.txtを1回開き、有効なファイルか404のどちらで返るかを、書く
- キャッシュを先に温める対象として、アクセスが多い上位10ページのURLを、記録の表に書き出す
- サーバーのログで、Googlebotを名乗る要求の多い上位5つのURLを、記録の表に書き出す
- 配信元が重いときに、429か503を返す条件と、返す最長の時間を、1行で書き、決める人の役割を書く
06 代替・他の選択肢 — 通信を減らす手段は、目的ごとに違う
手段を、目的ごとに並べる
表は、読んだページの内容を、筆者が整理したものである。ブログは、ボットを止める必要があるときの選び方を、次のように書く。"If you need to block bots, allow verified bots in your CDN and firewall settings."(訳: ボットを止める必要があるなら、CDNとファイアウォールの設定で、確認済みのボットを許可する)。さらに、特定の不要なボットを狙った設定を、全部のボットを止めるより、よいとも書く。
| 手段 | 目的 | 公式が書く注意 |
|---|---|---|
| 確認済みのボットを許可する | ボット対策を使いながら、Googleのクローラーを止めない | 確認は、Googleが公開するIPアドレスの範囲で行える |
| 特定の不要なボットだけを狙う | 全部の自動の通信を、まとめて止めない | robots.txtや規則で、対象を指定する |
| キャッシュを先に温める | 切り替えの直後に、配信元へ届く要求を減らす | 決めた速さで、重要なURLを取る |
| 429か503を短い時間だけ返す | 配信元への負荷が続くとき、クロールを一時的に減らす | 数時間、長くて1〜2日。それ以上は勧めない |
| 特別な申請を出す | エラーを返せない構成のとき、クロールの数を下げてもらう | 評価に数日かかることがある。増やす依頼はできない |
429か503を返す期間の限り
Googleの緊急の減らし方のページは、返してよい期間を、数時間、または1〜2日と書く。続けて、"We don't recommend that you do this for a long period of time (meaning, longer than 1-2 days) as it may have a negative effect on how your site appears in Google products."(訳: 長い期間(1〜2日より長いという意味)これを続けることは勧めない。サイトがGoogleの製品でどう表示されるかに、悪い影響が出ることがあるからである)と書く。同じページは、同じURLに、複数日にわたってこれらのステータスコードが返ると、そのURLが索引から外れることがあるとも書く。
もう1つ、このページには、重要な点がある。Googleのクロールの仕組みが、多くのURLで500、503、429に出会うと、エラーを返したURLだけでなく、内容を返したURLも含めて、そのホスト名全体のクロールを減らす、という点である。そして、エラーの数が減れば、クロールの速さは自動で上がる、と書く。つまり、一部のURLだけに返しても、サイト全体のクロールが下がりうる。
判断の例を、3つの型で
表は、よくある3つの状況を整理したもので、公式の文書に、どれを選ぶべきという記述は無い。
| 状況 | 最初にすること | 次にすること |
|---|---|---|
| これからCDNを入れる | ボット対策で確認済みのボットを通す設定を、有効にする | アクセスの多いページを、先にCDN経由で取る |
| 入れた直後に、配信元への要求が増えた | ログとクロールの統計情報で、Googlebotの要求かを確かめる | 必要なら、短い時間だけ429か503を返す条件を決める |
| 入れたあと、クロールが急に減った | ボット対策の挑戦画面が、Googleのクローラーを止めていないかを見る | ホストの状態と、robots.txtの応答を確かめる |
配信元が重いときに、すぐ429か503を返すのではなく、先に、確認済みのボットの許可と、キャッシュの温めを済ませると、返す必要が減る、というのが、ブログの順番である。
07 当サイトで確かめたこと — この記事の時点では、確かめていない
2026年11月16日の時点で確かめていないこと
この記事は、公式のページを2026年11月16日に読んで書いた。当サイトで、05章の13項目を行ったかどうかは、この記事を書いた時点では、ここに書く事実として確かめていない。公式ページに書かれていた内容を、当サイトの数字で確かめたことも、まだ無い。
これから確かめること
この記事を本番に出した日に、運営の担当者が、05章の1項目目から3項目目と、9項目目を行い、結果を、この章の末尾に日付つきで追記する。数だけを書き、設定の中身や、ページごとの結果の詳細は書かない。確かめられなかった項目は、確かめられなかったと書く。
実務のヒント
確かめた結果は、見つけた日と、確かめた人の役割だけを書く。人の名前や、設定の中身を書くと、記録の表が共有しにくくなる。「いつ、誰の役割が、何を見たか」の3つがあれば、あとから読み返せる。
08 このテーマの、ここまで — 自動の通信を「通す」と「止める」の間で
これまでの記録
当サイトは、自動の通信を、通すか止めるかという話を、何度か扱ってきた。Cloudflareのデフォルト「AI bots ブロック」があなたのGEOを殺しているは、CDNの既定の設定が、AIのクローラーにどう働くかを書いた。Verified AI Agent 37体を個別allowする WAF ルールの書き方は、確認済みの名乗りを、個別に許可する書き方を扱った。Cloudflareが確認済みのボットを「行儀」で評価し始めた週、当サイトの9つの名乗りの取得(4,317行)の18.1%は、公式のIPアドレスの一覧と合わなかったは、確認済みのボットの確かめ方を、当サイトのログで試した記事である。
CloudflareとOpenAIが「ページが変わったか」の信号で再取得を減らす試みを書いた週、当サイトの解説記事に更新日を入れたは、ページが変わったかの信号で、再取得を減らす試みを扱い、再クロール待ち行列547件、当サイトの2週間は、再クロールを待つURLの数を、当サイトで数えた。Cloudflareが通信の半分以上は人間ではないと書いた週、当サイトのログで自動と分かるものは36.2%だったは、ログの自動の通信の割合を、当サイトで数えた記事である。この記事は、CDNの切り替えという場面で、通すものと止めるものを、公式の言葉で整理するための記事である。
当サイトのほかの記事との対応
名乗りが誰でも書けることは、Googlebotの名乗りは誰でも書ける。通す・止めるを名乗りだけで決めず、接続元で確かめるが、確認済みのボットの評価の仕組みは、Cloudflareは確認済みボットを、名乗りが本物かに加えて、robots.txtと429を守り続けているかでも評価し続ける仕組みを書いたが扱った。クロールを緊急に減らす手順のRetry-Afterは、Googleがクロールを緊急に減らす手順にRetry-Afterの書き方を加えた。手順そのものは新しくないが、クロールの量と速さの関係は、Core Web Vitalsとクロールの関係は、公式の文書が別々の仕組みとして書いている。クロールの量に関わるのは、応答時間・エラー・読み込みと描画の速さで、Core Web Vitalsは利用者の体験の測定が、クロールの予算を気にするサイトの条件は、クロールバジェットを気にすべきサイトの条件が扱っている。この記事は、それらが前提にしている場面を、CDNの切り替えに絞って整理した。
この記事の位置
この記事は、切り替えの直後に何が起きるか、公式が書く3つの対策、429か503を返す期間の限りを、別々の文書として並べ、混ぜずに確かめるための記事である。「どのCDNを選ぶべきか」は、この記事では判断しない。クロールが増える規模や、温まるまでの時間は、読んだ文書には書かれていなかった。
2026年11月16日 — この記事の確認日
この記事の公式の引用は、2026年11月16日に、ページの本文を取り直して読み、書き写した。ブログのページ上端の日付の表示は、2026年11月11日(水)で、公開日とは明記されていなかった。ほかのページの最終更新日は、本文中に書いた。MDNとSearch Consoleヘルプには、最終更新日の表示が、読んだ内容に見つからなかった。次に確かめる日は、2026年12月16日を目安にする。
現在の貴方のIPアドレス
このサイトで書いている人
WEBサイト