Cloudflareの「Pay Per Crawl」は今どこまで進んだか ── Pay Per Use移行と、9月15日の変更点

01 何が起きたか — Pay Per Crawlの現在地

Pay Per Crawlは2025年7月に始まった

Cloudflareが「Pay Per Crawl」を発表したのは2025年7月1日です。公式ブログ「Introducing pay per crawl」（訳: Pay Per Crawlの発表）によれば、AIクローラーがページを取得(クロール)するたびに、HTTPの402 Payment Requiredステータスコードを使ってコンテンツ所有者が対価を請求できる仕組みで、当初はプライベートベータ(エンタープライズ顧客またはアカウント担当者経由の申し込み)としてスタートしました。公式ブログ自身が「very early」な段階だと表現しており、動的な価格設定やAIエージェント向けペイウォールへの拡張は今後の課題として位置づけられていました。

2026年6月、高度な設定が追加された

2026年6月16日の変更ログによれば、Pay Per CrawlにURIパターンによる除外設定(特定のページだけ無料公開したまま、他のページに課金する)と、動的価格設定(オリジンサーバーが返すcrawler-priceヘッダーやCloudflare Workerを使い、リクエストの属性ごとに価格を変える)の2つの高度な機能が追加されました。ベータ開始から約1年弱で、単純な一律課金から、ページ単位で柔軟に制御できる仕組みへと発展しています。

2026年7月、Pay Per Useへ

2026年7月1日、Cloudflareは「Content Independence Day」（訳: コンテンツの独立記念日）1周年を記念した発表で、課金の仕組みそのものを変えると発表しました。クロールされた回数で払うPay Per Crawlから、AIが生成した回答の中で実際に引用された回数で払う「Pay Per Use」へという転換です。Cloudflareの調べでは、再取得されたページの50%以上が前回訪問時から変わっていなかったとされ、「取りに来た回数」ではなく「役に立った回数」を課金の基準にする発想です。初期パートナーとしてCeramic.aiとYou.comの名前が挙がっています。

9月15日、Bot Defaultsが変わる(まだ先の予定)

2026年7月1日の発表では、あわせて2026年9月15日から、広告収益で成り立っているサイトを対象に、検索用途と学習・エージェント用途が混在した「混合クローラー」をデフォルトでブロックする新しい分類「Bot Defaults」も導入すると告知されています。対象は新規顧客、既存顧客の新規サイト、そしてすべての無料プランサイトです。この記事を書いている2026年8月20日時点で、9月15日はまだ到来していません。すでに適用された変更ではなく、これから適用される予定として扱う必要があります。

「複数目的が混在したクローラー」という表現も、意味を正確に押さえておく必要があります。GooglebotやBingBotのように、検索インデックス作成と他の用途を同一のクローラーで兼ねている場合、Bot Defaultsの評価では最も制限的なルールに従うとされています。つまり、そのクローラーの一部の用途がTraining相当と見なされれば、Search用途の部分まで含めて影響を受ける可能性がある、という点は事前に確認しておく価値があります。

02 なぜ・背景 — 課金モデルを変える理由

非人間トラフィックが半分を超えた

Cloudflareが公開した数字によれば、非人間トラフィックはすでにインターネット全体の50%を超えました。AIボットのトラフィック構成に占める学習(トレーニング)目的の比率は、2025年春の22%から2026年6月には52%まで急上昇しています。生成AIの利用者数も急拡大しており、こうした成長の速さが、既存の課金モデルの見直しを迫る背景になっています。

「取りに来る」と「読者を送り返す」の乖離

クロール回数と、実際に読者をサイトへ送り返す回数(参照・リファラー)との差も、Pay Per Useへの転換理由として挙げられています。2025年8月にCloudflareが公開した数字では、OpenAIのクローラーが1,091回クロールして参照を1回しか発生させておらず、Anthropicのクローラーに至っては38,000ページのクロールに対して参照1回という比率が示されました。取りに来る回数だけに課金すると、この乖離を放置したまま仕組みが拡大し続けることになります。

AI Crawl Control自体は無料プランでも使える

ここで一度整理しておきます。クローラーをSearch/Agent/Trainingに分類し、Allow・Blockを設定するAI Crawl Controlという機能そのものは、Cloudflareの無料プランを含むすべてのプランで利用できます。課金の話とブロック・許可の話は別のレイヤーです。「Pay Per Crawlを使っていないから自分には関係ない」と読み飛ばさず、04章🅰で扱う適用範囲の違いを先に押さえておくと、以降の章が読みやすくなります。

03 この記事で出てくる用語

Pay Per CrawlとPay Per Useの違い

Bot Defaultsと3つのカテゴリ

402 Payment Requiredという仕組み

Pay Per Crawlの土台になっているのが、HTTPステータスコードの402 Payment Requiredです。コンテンツ所有者が有料リソースをリクエストされると、402レスポンスとcrawler-priceヘッダーを返します。クローラー側は、提示された価格に同意して再リクエストするか、あらかじめcrawler-max-priceヘッダーで上限額を提示しておくかを選べます。認証は署名付きヘッダーで行われ、価格提示から支払いまでの一連の流れがHTTPのやり取りの中で完結する設計です。

Managed robots.txtと、サーバー側robots.txtの二重管理

04 どこまで使えて、何がまだ分からないか

🅰 適用範囲 — どこで・誰が使えるか

ここは誤解しやすい点です。AI Crawl Control(クローラーのカテゴリ分類・ブロック設定など)自体は、Cloudflareのすべてのプラン(無料プランを含む)で利用できます。一方、Pay Per Crawl(実際に課金する機能)は2026年8月時点でもプライベートベータのままで、利用にはエンタープライズ契約またはアカウント担当者経由の申し込みが前提になっています。「AI Crawl Controlが使える」ことと「Pay Per Crawlで課金できる」ことは、現時点では別の話です。価格設定は最低1クロールあたり$0.001からで、ダッシュボードの「AI Crawl Control」内「Payments」タブから有効化します。

Bot Defaultsについても、対象範囲を正確に押さえておく必要があります。9月15日から自動的に影響を受けるのは、新規顧客・既存顧客の新規サイト・すべての無料プランサイトの3種類です。すでにCloudflareを有償プランで利用しており、既存のサイトを継続運用している場合は、この自動適用の対象には含まれません。ただし、対象外だからといって設定を確認しなくてよいわけではなく、任意のタイミングで同様の設定に切り替えることは可能です。自社がこの3種類のどれに当てはまるかは、契約の開始時期とプランの種類を確認するだけで判断できます。

🅱 この仕組みが測っていないこと

Pay Per Useには、まだ大きな宿題が残っています。複数のソースを組み合わせ、言い換えて生成された回答が生まれたとき、各ソースにどう対価を配分するかの計算方法、その計算を誰が監査するのか、「参照されたはずなのに対価が発生しない」場合の異議申し立てルートの3点は、2026年7月の発表時点で明文化されていません。可視化ツール(BotBase等)が捉えられるのは、あくまでCloudflareのネットワークを通過したアクセスの痕跡であり、AIモデルの内部でコンテンツがどう「消化」されたかまでは見えません。加えて、Pay Per Use・Bot DefaultsのいずれもCloudflareを経由していないアクセスには効果がありません。他のCDNやオリジン直配信のサイトには、この仕組みは適用されません。

🅲 手順 — ダッシュボードでの確認方法

Cloudflareダッシュボードにログインし、対象ドメインを選んで「AI Crawl Control」を開きます。「Bot Categories」でSearch/Agent/Trainingごとの現在の設定を確認でき、「Payments」タブでPay Per Crawlの有効化状況と価格を確認できます。Pay Per Crawlを有効化してドメインの状態が「Enabled」になるには、事前にAccount Settingsでそのドメインの可視性が「Visible」になっている必要があります。設定の変更は即座にダッシュボードへ反映されますが、実際のクロール挙動に現れるまでには多少の時間差があることも想定しておくとよいでしょう。

05 自分のサイトで確認するチェックリスト

チェックリストの3つの観点

ここまでの内容を、Cloudflareを利用している運営者が今日から確認できる動作に翻訳しました。観点は大きく3つに分かれます。ひとつは現在の設定状況の把握、ふたつめは9月15日の変更が自社にどう影響するかの試算、みっつめはCloudflare以外の選択肢も含めた棚卸しです。チェックの状態はブラウザ内にのみ保存され、サーバーには送信されません。

• Cloudflareダッシュボードにログインし、対象ドメインで「AI Crawl Control」を開く
• 「Bot Categories」でSearch・Agent・Trainingの3カテゴリごとのAllow/Block設定を書き出す
• 「Payments」タブを開き、Pay Per Crawlが Enable になっているか確認する
• 自社サイトのうち広告表示のあるページが何本あるか数える(Bot Defaultsの対象になりうるページ数)
• Account Settingsでドメインの状態が「Visible」になっているか確認する
• サーバーのアクセスログから直近7日分を開き、cf-rayヘッダーを含むリクエストの割合を確認する
• robots.txtを開き、GPTBot・ClaudeBot・Google-Extended・PerplexityBotの記述を書き出す
• 自社が新規顧客・既存顧客の新規サイト・無料プランのいずれかに該当するか確認する(該当すれば9月15日から自動適用される対象)
• Cloudflareダッシュボードの「Analytics」で、直近30日のAIクローラー別リクエスト数を上位5件書き出す
• TollBit・ProRata等の第三者帰属管理サービスを導入しているか確認する(未導入なら「未導入」と記録する)
• Managed robots.txt機能を使っている場合、サーバー側webroot/robots.txtとの内容が一致しているか突き合わせる
• Configuration Rulesで、無料公開したいページのURIパターンが除外設定されているか確認する
• 9月15日までの残り日数を数え、設定を確認する予定日をカレンダーに1つ入れる

13項目の内訳と、優先して手をつける順番

最初の5項目は現在の設定状況の棚卸し、6番目・7番目はアクセスの実態確認、8番目は9月15日の変更が自社に該当するかの判定、9番目・10番目は収益化の土台となる可視化と帰属管理の現状確認、11番目・12番目は設定の整合性チェック、13番目は今後の予定づけです。Cloudflareを使っている運営者にとって最優先なのは8番目です。新規顧客・新規サイト・無料プランのいずれかに該当する場合、9月15日から自動的に挙動が変わるため、事前の確認が欠かせません。

Cloudflareを使っていない運営者にとっても、6番目のアクセスログ確認と7番目のrobots.txt棚卸しは無関係ではありません。AIクローラーの分類方法そのものはCloudflare独自の概念ですが、Search/Agent/Trainingという3分類の考え方(検索用・エージェント用・学習用を分けて扱う)は、robots.txtでの個別User-agent設定にもそのまま応用できます。13項目すべてに目を通す時間の目安は、設定確認のみなら15分程度、アクセスログの分析まで含めると30分程度です。

06 AIクローラーへの対応方法の比較

Cloudflare以外にも選択肢がある

Cloudflareを使っていない、あるいはCloudflareの外でも帰属管理をしたい運営者向けに、2026年8月時点の主な選択肢を整理します。

収益化の前に、まず「届いているか」

Pay Per CrawlもPay Per Useも、AIクローラーが自社サイトに到達できていることが前提の仕組みです。robots.txtやWAFの設定次第では、収益化以前にクローラー自体が弾かれている場合があります。設定を変更する前後で外部からの見え方が変わっていないかは、当サイトの🔧 セキュリティ監査ツールで点検できます。9月15日の変更を前後で比較したい場合は、当サイトの🔧 WEBサイト状況チェック・比較ツールで、変更前と変更後のページの状態を突き合わせることもできます。

表の下2行、TollBitとProRataは、いずれもCloudflareという特定のネットワーク事業者を経由しなくても導入できる、独立した帰属・課金管理プラットフォームです。TollBitはAI企業とパブリッシャーの間のライセンス契約実績を集約し、クロール・参照実績をもとにライセンス料の計算・分配を仲介します。ProRataは自社の答え生成サービスを通じて、AIによる引用実績を収益分配に変換する仕組みを提供しています。Cloudflare以外のCDNを使っているサイトにとっては、こちらの選択肢のほうが現実的な場合があります。

07 当サイトの現在地

実測: 当サイトはCloudflareを使っていない

正直に書きます。当サイト(website.usersupports.com)は、2026年8月20日時点でCloudflareを利用していません。この記事を書くために自サイトのレスポンスヘッダーを確認したところ、Server: Apacheと表示され、Cloudflareを利用しているサイトに現れるcf-rayヘッダーやCloudflare由来のServer表示は見られませんでした。Apache(httpd)による直接配信を続けているためです。

したがって、本記事で扱ったPay Per Crawl・Pay Per Use・Bot Defaultsのいずれも、当サイト自身には現時点で適用されません。この記事は、Cloudflareを利用しているサイトの運営者に向けた参照記事として書いています。当サイトのAIクローラーへの向き合い方(訓練用と検索用を分けてrobots.txtで許可する方針)は、別の記事(archives/86)で扱っています。同じチームが運営する別のサービスがCloudflareを導入した際の実測記録も、この回に含まれています。

08 このテーマの、これまで

デフォルトブロックへの警告を書いた回

Cloudflareの新規ドメインで「Block AI bots」がデフォルトでONになっていた問題を、一次情報とともに記録した回があります(archives/86)。本記事の03章で扱ったSearch/Agent/Trainingという3分類の前段にあたる、訓練用と検索用を分けずに一括ブロックしてしまう挙動について、当時の実測とチーム内での実装記録を残しました。

Search・Agent・Training三分類の刷新を書いた回

Cloudflareがクローラーの分類定義そのものを刷新した日の記録もあります(archives/93)。本記事の03章で扱ったBot Defaultsの3カテゴリは、この回で整理された分類がそのまま土台になっています。

Pay Per Useの発表を追った回

Pay Per Crawlから Pay Per Useへの転換そのものを、発表直後に詳しく記録した回もあります(archives/96)。本記事の01章・02章で扱った経緯・数字の多くは、この回で先に詳しく検証した内容と地続きです。帰属という宿題がどう埋まっていくかは、今後も継続して確認する必要があります。

可視化ダッシュボードの登場を書いた回

Pay Per Useの計算土台になっているBotBaseという可視化ダッシュボードの登場を、Search/Agent/Training三分類の刷新の1週間後に記録した回もあります(archives/94)。本記事の04章🅱で「可視化ツールが捉えられるのは、あくまでネットワークを通過したアクセスの痕跡まで」と書いた限界は、この回でBotBaseの機能を具体的に検証した上での整理です。