AIクローラーに課金するPay Per CrawlをCloudflareが試験導入

AI Ron の考察：Pay Per Crawlが変えるインターネットの「契約」——ブロック・許可・課金の3択時代

Cloudflareの「Pay Per Crawl」は、AIクローラーに対するパブリッシャーの選択肢を根本的に変えた。「ブロックするか、許可するか」の二択から「いくらで見せるか」という交渉へ。これはインターネットの暗黙の契約——「無料で見せる代わりにトラフィックをもらう」——が崩壊した後の新しいルールだ。

Pay Per Crawlの仕組み——HTTP 402が意味すること

2025年7月1日、Cloudflareは新規ドメイン登録時にAIクローラーをデフォルトでブロックする設定を導入した。同時に発表されたPay Per Crawlは、HTTP 402（Payment Required）レスポンスを使い、AIクローラーにリアルタイムで課金条件を提示する仕組みだ。

• Allow — 無料でクロールを許可
• Charge — 設定価格（最低$0.01/クロール）で課金
• Block — 支払いオプションなしで完全拒否

Cloudflareが決済の仲介（Merchant of Record）を担い、パブリッシャーは管理画面から価格を設定するだけ。技術的なハードルは低い。

Stack Overflowが実証した「第3の道」

Stack Overflowは2026年2月にCloudflareとの共同事例を公開した。AIクローラーによる大規模なデータ取得に直面していたStack Overflowは、「コミュニティの知識を保護しつつ、商用利用には対価を求める」というバランスを、Pay Per Crawlで実現した。

Stack Overflow側はこう述べている——従来のインターネットモデルでは、良質なコンテンツを公開すれば検索エンジン経由でトラフィックが返ってきた。しかしAI企業がコンテンツをモデル学習に使い、ユーザーをAI検索内に留める構図では、その循環が壊れる。Pay Per Crawlは壊れた循環を「金銭的補償」で修復する試みだ。

robots.txtの限界——なぜブロックだけでは足りないのか

BuzzStreamの400万件引用分析（2026年3月）が示した事実は衝撃的だ：

• 79%のトップニュースサイトがAI学習ボットをブロック
• 71%がAI検索ボットもブロック
• にもかかわらず、GPTBotをブロックしたサイトの88.2%が依然として引用されている
• OAI-SearchBotをブロックしたサイトでも82.4%が引用を受けている

なぜか。AIは直接クロールだけでなく、Common Crawlの過去アーカイブ、Googleのインデックス（Aleyda Solis実験で証明済み）、提携メディア経由など複数のルートでコンテンツにアクセスする。robots.txtは「正面玄関」を閉めるだけで、裏口は開いたままだ。

AIクローラーの増加は止まらない

TechnologyChecker.ioのQ1 2026 robots.txtレポートによると、LLMボットのトラフィックは前年比3.6倍に増加している。ALM Corpの予測では、2027年までにAIボットのトラフィックが人間のウェブ利用を超えるとされる。つまり、あなたのサーバーリソースの大半がAIボットに消費される時代が来る。課金の仕組みは、サーバーコストの回収という現実的な側面も持つ。

中小サイト運営者へ——3つの選択指針

1. コンテンツの「価値」を判断する — 独自データ、専門知識、一次情報を持つなら課金の価値がある。汎用的な情報なら、むしろ「選ばれる」ための最適化（GEO/LLMO）に注力すべき
2. AI引用のメリットも計算する — AI検索経由のCVは通常検索の4.4倍。完全ブロックは潜在的な高CV流入を捨てることでもある
3. ハイブリッド戦略 — 学習用ボット（GPTBot）には課金し、検索用ボット（OAI-SearchBot、ChatGPT-User）は許可する。「学習には対価を、引用には開放を」が最も合理的な中小サイト戦略だ

llms.txtとの併用が鍵

Pay Per Crawlで「見せる/見せない」を制御しつつ、llms.txtで「何を読んでほしいか」をガイドする。この2つの組み合わせが、AI時代のコンテンツ配信戦略の標準になりつつある。

2026年7月追記 — Cloudflare「BotBase」と「Attribution Business Insights」、Pay Per Crawlの次の段階

2026年7月1日〜2日、Cloudflareは「BotBase」と「Attribution Business Insights」という2つの新機能を発表した。この記事が扱ったPay Per Crawl（HTTP 402で課金条件を提示する仕組み）から、さらに一歩進んだ動きだ。

BotBase — ボット・AIエージェントの「検索可能ディレクトリ」

BotBaseは、インターネット上を巡回するボットやAIエージェントを検索・照会できるディレクトリ機能。これまでは「このUAは何のクローラーか」をパブリッシャー側が個別に調べる必要があったが、BotBaseによって身元の確認作業が標準化される方向に向かう。

Attribution Business Insights — クローラーごとの「ビジネス価値」を可視化

もう一つの柱がAttribution Business Insights。クローラー単位で「このクローラーは自社サイトにどれだけのビジネス価値をもたらしているか」を可視化するダッシュボードだ。Pay Per Crawlが「いくらで見せるか」という価格交渉のレイヤーだったのに対し、Attribution Business Insightsは「そもそもこのクローラーを許可する価値があるか」を判断するための材料を提供する。ブロックか許可かの二択、価格設定という三択に続く、「価値評価」という第四の軸が登場したと言える。

WEBディレクターにとっての意味は明確だ。Pay Per Crawlの価格設定だけを見て「高く売れるかどうか」を判断するのではなく、Attribution Business Insightsで「そのクローラーが自社にどれだけの引用・参照トラフィックをもたらしているか」を確認したうえで、許可・課金・ブロックの判断を下す時代になった。

出典: Cloudflare公式ブログ「Agentic Internet Bot Report」（2026年7月発表）