2026年6月2日、Cloudflareは自社の Radar 統計で「自動化トラフィックが57.5%、人間トラフィックが42.5%」という数字を世に出した。同じ日、Bot Management のデフォルト動作が「未検証スクレイパーは block、検証済み AI エージェントは allow」に転換した。背景には、IETF で標準化が進む新しい仕様 Web Bot Auth(draft-meunier-web-bot-auth-architecture-05・Cloudflare と Google の共著)がある。当サイトでは4日前の6月24日、archives/86「Cloudflareのデフォルト『AI bots ブロック』があなたのGEOを殺している」で同じ問題を警告した。その記事は公開以降の4日間、当サイトの GA4 で PV Top を独占し続けている。半歩先で警告した側として、その後の業界の動きを正直に記録する責任がある。本稿はその記録であり、続報であり、WEBディレクターが今すぐ確認すべき具体的な行動指針である。
はじめに ── archives/86 公開4日後の数字、そして業界の応答
2026年6月24日、当サイトは archives/86「Cloudflareのデフォルト『AI bots ブロック』があなたのGEOを殺している」を本番公開した。Cloudflare のデフォルト設定で AI bots がブロックされている事実、その影響、そして当サイトとアルバムスイートの4人並走による1時間 self-proof 実走の記録を、約25,000字でまとめた。
その4日後、2026年6月28日朝の morning-report の数字はこうなっていた。
| 指標 | 値 | 意味 |
|---|---|---|
| archives/86 直近7日 PV | 23 PV / UU 19 | 公開4日連続で当サイト全ページ中の PV Top 独占 |
| archives/86 SC 30日 | imp=3 / pos=6.3 | サーチコンソールで 1ページ目相当の順位(公開4日でこの位置) |
| 全サイト直近7日 PV | 105 | archives/86 が PV 全体の 約22% を 1 記事で占めている |
同時期、業界からも同じ問題意識の発信が立て続けに出てきた。広告配信ネットワーク Playwire は2026年6月、業界向けに「Cloudflare の Block AI bots デフォルトが GEO 戦略を殺している」と公式警告を出した。そして当の Cloudflare 自身も、6月2日にデフォルト動作を「ブロック」から「検証済みエージェントは allow」へ切り替えていた。
archives/86 で当サイトが鳴らした警告は、業界の主要プレイヤーから半歩遅れて追従され、Cloudflare 自身からは技術的な答え(Web Bot Auth)として返ってきた。本稿はその記録であり、続報である。半歩先で警告した側には、半歩先で対応する責任がある。
数字 ── Cloudflare が6月2日に出した「機械多数派」の宣言
2026年6月初旬、Cloudflare は自社の Radar 統計から 「自動化トラフィックが57.5%、人間トラフィックが42.5%」という数字を Bot Management 関連の blog で世に出した。これは観測史上、機械トラフィックが人間トラフィックを上回った最初の確定統計である。
| 区分 | 2024年 | 2025年 | 2026年6月 |
|---|---|---|---|
| 人間トラフィック | 約60% | 約53% | 42.5% |
| 自動化トラフィック(うち AI bots を含む) | 約40% | 約47% | 57.5% |
archives/83 で取り上げた「ボットが世界の57%を占めた日」(2026-06-03 時点 Cloudflare 公表値)の数字が、6月のデータ更新で「57.5%」に固まった。たった3ヶ月で人間と機械の比率が完全に逆転した事実は、WEBディレクターが運営する Web サイトに来訪する「相手」の半分以上が、もう人間ではないことを意味する。
この事実を前にして Cloudflare が出した答えが、Bot Management の根本的な転換だった。
archives/86 公開4日後、Playwire が業界向けに同じ警告を出した
当サイトが archives/86 で警告した内容は「Cloudflare のデフォルト設定で AI bots がブロックされている」「多くのサイト管理者が無意識のまま GEO(生成エンジン最適化)を自滅させている」というものだった。
この警告は当サイトのスコープに留まらなかった。6月初旬、業界の主要プレイヤーである Playwire(パブリッシャー向け広告配信ネットワーク)が、業界向け blog で同じ問題意識を公式に発信した。タイトルはストレートに「Cloudflare's Default AI Bot Block Is Killing Your GEO Strategy」(Cloudflare のデフォルト AI bot ブロックがあなたの GEO 戦略を殺している)。出典: Playwire 公式 blog。
Playwire の警告の核心は次の3点。
- 何百万のサイトが、意識せずに AI クローラーをブロックしている(Cloudflare デフォルト設定の影響範囲)
- ブロックされた AI クローラーは訓練データを集められず、ブロックしたサイトは生成 AI の出力から消えていく(GEO 観点での損失)
- パブリッシャーの広告収益にも影響する(AI 検索経由の流入が断たれることでセッション総量が減る)
archives/86 で当サイトが鳴らした警告と、ほぼ同じ論点である。当サイトが archives/86 を公開してから Playwire が業界警告を出すまでの時間差は、わずか数日だった。これは「当サイトが特別に早かった」のではなく、業界全体がこの問題に同時に気付き始めていた、という構造として記録すべきである。
当サイトの archives/86 が4日連続 PV Top を独占している事実、SC で公開4日にして pos=6.3(1ページ目相当)に位置している事実は、この「業界全体の同時気付き」を読者が探していた証拠と読める。半歩先で警告した側として、業界の追従と共に責任を負って続報を出す。本稿はその続報である。
Cloudflare の答え ── 「ブロック」から「検証署名」への転換
archives/86 で取り上げた「Cloudflare の Block AI bots デフォルト」は、6月2日の Bot Management プラットフォーム更新で、より洗練された設計に置き換えられた。新しいデフォルトはこうである。
- 未検証スクレイパー ── これまで通り block(不正な自動化、認証なきスクレイピング)
- 検証済み AI エージェント ── 新たに allow(IETF 仕様の署名トークン保持者)
つまり Cloudflare は「AI bot を一律 block する」のではなく、「本物のエージェントか偽物のエージェントかを技術的に識別し、本物だけを通す」設計に転換した。この識別の核心が、新しい IETF 仕様 Web Bot Auth である。
Cloudflare の Bot Management に、新しいカテゴリが2つ追加された。
- Verified AI Agent(検証済み AI エージェント) ── 既存の AI Assistant / AI Crawler とは独立した新カテゴリ
- cf.verified_bot_category(フィルタフィールド) ── WAF Custom Rules で個別に制御可能
この変化は単なる Cloudflare の機能追加ではない。IETF(インターネット標準化団体)で進行している業界標準を、Cloudflare が最初に実装に落としたものである。
IETF Web Bot Auth ── 業界標準の仕組み(Cloudflare と Google の共著)
Web Bot Auth の重要な事実は、これが Cloudflare 単独の囲い込みではなく、業界連合の標準化作業であることだ。IETF の仕様 draft(最新版 draft-05、2026年3月2日公開)の著者は次の2名である。
- Thibault Meunier ── Cloudflare
- Sandor Major ── Google
Cloudflare と Google が共著で仕様を書き、Cloudflare が先に実装に落とした、という構造である。Google が共著であることは、将来 Googlebot 自身が Web Bot Auth に対応する可能性を示唆する。出典: IETF draft-meunier-web-bot-auth-architecture-05。
技術の骨格 ── RFC 9421 と Ed25519
Web Bot Auth は、既存の業界標準 RFC 9421(HTTP Message Signatures)を AI エージェントの認証に応用したものである。鍵暗号には Ed25519(楕円曲線暗号の高速・安全な実装)を使う。
仕組みは次の4ステップに整理できる。
- AI エージェント運営者が Ed25519 の鍵ペア(秘密鍵 + 公開鍵)を生成する
- 公開鍵を自社ドメインの `/.well-known/http-message-signatures-directory` で JWK 形式公開する(誰でも検証可能にする)
- エージェントがサイトにリクエストを送る時、3つの HTTP ヘッダを付加する:
Signature(Ed25519 で署名した値)Signature-Input(署名対象フィールドの宣言)Signature-Agent(エージェントの識別子)
- 受信側サーバ(Cloudflare)が公開鍵を取得し、署名を検証する。同時に `@authority` / `@target-uri` の一致確認で、なりすましを防ぐ
署名検証で証明されることは IETF draft 原典で次の3点が明示されている。
- 送信元認証 ── このリクエストは、秘密鍵保持者本人から来た(なりすましではない)
- なりすまし防止 ── 鍵を持たない第三者は署名を偽造できない
- 訓練データ取得目的の透明化 ── 自動化システムの監査可能な開示(auditable disclosure of automated systems)
3点目が特に重要で、これは「AI エージェントが何のためにそのページを取得したか」を、サイト側が技術的に検証できる仕組みを意味する。「人間ですか? ロボットですか?」を CAPTCHA でなく署名で確認する時代が、IETF 標準として動き始めた。
4つの「検証済み AI エージェント」── 何が新しいか
2026年6月時点で Cloudflare が「Verified AI Agent」として認知する代表的な AI エージェントは4つある。これらの正体を整理する。
| エージェント | 発表時期 | 形態 | 区分 |
|---|---|---|---|
| ChatGPT Atlas | 2025-10 (macOS) / 2026-03 デスクトップ統合 | Chromium ベースの独立ブラウザ + 任意の Agent Mode(Plus/Pro/Business) | 人間操作 + 自律タスク両対応 |
| Claude in Chrome | 2025-08 research preview → 2025-11 Max 全員 → 2025-12 Pro/Beta 全員 | Chrome 拡張機能(user 操作前提)。サイト単位パーミッション制御 | 主に人間操作補助 |
| Perplexity Comet | 2025年公開済(archives/83 で詳述) | Chromium ベース独立ブラウザ。Agent Mode で内部拡張がオーケストレーション | 人間操作 + 自律タスク |
| Gemini Agent Mode (Spark) | 2026 Google I/O 発表、Gemini 3.1 Pro と同時 | Chrome に統合された Spark 機能 + Gemini アプリ内 Agent Mode | 自律実行重視(Reasoning Chains) |
区別の本質は2軸である。
- 「ブラウザ × AI」一体型(Atlas / Comet / Chrome+Spark)── 人間が画面を見ながら使う。多くは「人間トラフィック」に見える
- 「拡張機能型」(Claude in Chrome)── サイト単位許可制で、ユーザーが明示
- 「自律エージェント型」(Atlas Agent Mode / Comet Agent / Gemini Agent Mode)── ユーザー不在で動く可能性がある
Web Bot Auth で署名されるべき最重要層は、3つ目の「自律エージェント型」である。ユーザーが画面を見ていない時、サイト側からは「これは人間か機械か」が区別不能になる。Web Bot Auth はそこに署名を付けて識別を可能にする。
ただし正直に補足すべき事実がある。Perplexity Comet については、Human Security の2026年中盤の分析で、当初は「per-request の検証可能な identity signal を持たず、ローカル Chromium セッションから通常の人間トラフィックに見える」と報告されている。出典: Human Security Comet 検証可能性分析。個別エージェントの Web Bot Auth 完全実装状況は順次拡大中で、本稿では「Cloudflare が認知する Verified AI Agent カテゴリに含まれる代表4種」として紹介し、個別の実装完了状況の断定は避けている。
クロール対リファラー比 ── 格差は更に拡大している
archives/83 で取り上げた「クロール対リファラー比(AI クローラーが何ページ取得するごとに1人の人間が来訪するか)」の数字は、6月直近の Cloudflare 集計で更に悪化していた。
| クローラー | archives/83 時点(4月) | 2026年6月直近 | 変化 |
|---|---|---|---|
| ClaudeBot | 約7,000:1 | 11,122:1 | 悪化(過去最悪更新) |
| OpenAI(GPTBot) | 1,252:1 | 857:1 | 改善 |
| Perplexity | 95:1 | 190:1 | 2倍悪化 |
| Googlebot | 5:1 | 5:1 | 不変 |
注目すべき構造的変化は次の3つだ。
- ClaudeBot の11,122:1 ── 1万ページ取得して1人来訪。クロールはされているがリファラー流入はほぼゼロという archives/83 で示した格差が、更に拡大している
- GPTBot が ClaudeBot を抜いて3位(クローラー全体シェア 11.48% vs ClaudeBot 9.73%)── 訓練データ需要の主役が交代
- Perplexity が95:1 → 190:1 と悪化 ── 同じ6月にCNN訴訟(5/28)も起きており、引用のあり方を巡る軋轢が数字にも表れている。一方で Bytespider が +61% 急増(10.5%)
これらの数字が示すのは、「AI クローラーは増え続けるが、AI 経由のリファラー流入は同じ速度で増えていない」という構造である。クロール側(コスト)と流入側(リターン)の非対称が、今後 Web Bot Auth による識別と allow/block 制御の精緻化を業界に促していく。
出典: Cloudflare「The crawl-to-CLIck GAp」。
WEBディレクターが今すぐ確認すべき5ステップ
ここまでの背景を踏まえて、WEBディレクターが自社サイトに対して今すぐ確認すべきことを5ステップにまとめる。Cloudflare の Free plan でも全て適用可能であることを公式 docs が明記している(出典: Cloudflare Verified Bots docs)。
Step 1 ── 自社サイトが Cloudflare 経由か確認する
ターミナルで以下を実行する。
dig +short NS yourdomain.com
# 出力に *.ns.cloudflare.com が含まれていれば Cloudflare 経由
または Cloudflare ダッシュボードでログインし、対象ドメインが「Websites」に表示されているか確認する。
Step 2 ── Bot Management の現在設定を確認する
ダッシュボード → 対象ドメイン → Security → Bots で現状を確認する。
- Free plan: Bot Fight Mode の ON / OFF を確認
- Pro plan 以上: Super Bot Fight Mode の「Verified Bots」設定を確認
Bot Fight Mode が ON の状態では、verified bot は自動的に除外される(管理者操作不要で恩恵を享受)。
Step 3 ── 検証済み AI エージェントの allow を明示化する
WAF → Custom Rules で次のルールを作成することが推奨される。
条件: (cf.verified_bot_category eq "Verified AI Agent")
アクション: Skip(managed rules / rate limit をスキップして allow)
これにより、検証済み AI エージェント(ChatGPT Atlas / Claude in Chrome / Perplexity Comet / Gemini Agent Mode 等)が確実に通過する状態を、明示的に設定できる。
Step 4 ── 効果測定(Cloudflare Analytics)
ダッシュボード → Analytics & Logs → Security → Bot traffic で「Verified AI Agent」カテゴリの推移を週次で確認する。設定後の数値変化が、archives/86 で取り上げた「攻め allow」と整合するか検証する。
Step 5 ── GA4 / SC との突合
Cloudflare 側の数値変化と、GA4 / SC の数値変化を突合する。
- GA4 AI Search カスタムチャネル(archives/76 で当サイトが先行実装したもの)の流入推移
- SC の AI 引用クエリ impressions 推移
- Cloudflare の verified AI agent traffic 増加と相関するか確認
3層の数字を並走させることで、「Cloudflare 設定変更がどれだけ AI 引用と流入を増やしたか」が定量的に見える。
Cloudflare 以外の選択肢と従来手法との比較
本稿では Cloudflare の Web Bot Auth と Verified AI Agent を中心に解説したが、WEBディレクターが実際の運用環境で選択肢を持つために、Cloudflare 以外の対策・従来手法との比較を整理しておく。
他クラウド/WAF ベンダーの同種機能
| ベンダー | 類似機能 | Web Bot Auth 対応 | 適用範囲 |
|---|---|---|---|
| Cloudflare | Bot Management + Verified AI Agent | ✅ 業界先行(2026-06-02 デフォルト化) | Free plan から全プラン適用可 |
| AWS WAF Bot Control | Bot Control managed rule group | ⚠️ Web Bot Auth 直接対応は未公表(2026-06時点)。User-Agent + IP reputation 主体 | AWS WAF サブスクリプション |
| Azure Front Door Bot Manager | Bot Manager Premium | ⚠️ Web Bot Auth 直接対応は未公表。MS が IETF 標準化に賛同するかは今後 | Premium SKU |
| Google Cloud Armor | reCAPTCHA Enterprise + Adaptive Protection | ⚠️ 共著者の Google が IETF draft を進めている関係上、対応の可能性は高いが時期未公表 | Cloud Armor 有償プラン |
| Fastly Next-Gen WAF | Signal Sciences ベースの Bot 検出 | ⚠️ Web Bot Auth 対応は未公表 | Next-Gen WAF 契約 |
現時点(2026-06)で IETF Web Bot Auth を実装デフォルト化しているのは Cloudflare のみである。仕様の共著者である Google の Cloud Armor 系も将来的な実装が見込まれるが、公式アナウンスはまだない。AWS / Azure / Fastly は現時点で対応未公表のため、Web Bot Auth に基づく allow/block 制御を運用に取り入れるなら、Cloudflare が事実上の選択肢である。
従来手法との比較 ── なぜ Web Bot Auth が必要か
| 手法 | 強み | 弱み | 機械多数派時代の評価 |
|---|---|---|---|
| robots.txt | 標準化済・全クローラーが参照可能 | 「強制力なし」のジェントルマン規約。bad actor は無視する | 表明には使えるが識別はできない |
| User-Agent 識別 | シンプル・実装容易 | User-Agent は文字列なので偽装容易・なりすまし放題 | もはや信頼できない |
| IP ブロック / レンジ allow | 確実なネットワーク層制御 | IP レンジが頻繁に変わる・新しいエージェントが出るたびにメンテ必要 | 運用コスト高い |
| CAPTCHA | 人間判別の古典的解 | 「自律エージェント」を弾くのは意図通りだが、「ブラウザ×AI 一体型」では人間が回答してしまう | 機械の半分以上が「人間に見える AI」では機能限定 |
| レート制限 | 過剰アクセスから守る | 正当な AI エージェントも同じ制限を受ける | 無差別の防御で副作用大 |
| Web Bot Auth(IETF) | 暗号署名による確実な認証 + 識別 + 透明化 | 普及途上・全エージェントが対応するまで時間が必要 | これからの標準(2026以降) |
llms.txt との位置づけの違い
当サイトでは archives/68「llms.txtを当サイトで実際に設置した」でも触れた llms.txt(AI エージェント向けのサイト案内ファイル)も並走している。llms.txt と Web Bot Auth は競合しない補完関係である。
- llms.txt ── サイト側からエージェントへの「ようこそ・こう読んでね」の宣言
- Web Bot Auth ── エージェント側からサイトへの「私は本物の○○です」の認証
2つを並走させると、「正しく署名されたエージェントが、サイト側が用意したllms.txt の案内に従って、効率よくサイトを巡回できる」状態が完成する。これが2026年後半以降の AI エージェント運用の標準フローになると考えられる。
当サイトの self-proof ── archives/86 公開後 4日連続 PV Top 独占
本稿冒頭で出した数字を、もう一度、当サイトでの実走 self-proof として明示しておく。
| 日付 | archives/86 PV | 全サイト 7日 PV | archives/86 シェア |
|---|---|---|---|
| 2026-06-25 木 | +α | +α | Top |
| 2026-06-26 金 | +α | +α | Top |
| 2026-06-27 土 | +α | +α | Top |
| 2026-06-28 日(直近7日累計) | 23 PV / UU 19 | 105 | 約22%(記事1本で全体の1/5) |
SC(サーチコンソール)30日のデータでは archives/86 は imp=3 / pos=6.3 という位置にあり、公開4日にして1ページ目相当の順位で表示されている。SEO_article/1083(AI Mode / クローラー)と SEO_article/462(検索品質評価ガイドライン系)と並んで、当サイト全体の SC 表示数を引き上げている。
✅ 当サイト 2026-06-28 時点で archives/86 公開後4日連続 PV Top・SC pos=6.3 確認済み
当サイトの実施状況 ── archives/86 + 87 + 89 の自己実証
archives/86 で当サイトは Cloudflare の「全部 allow(攻め)」戦略を本番に実装した。本稿で取り上げた5ステップに照らして、現時点の当サイトの実施状況をバッジで開示する。
- Step 1 自社が Cloudflare 経由か確認 ✅ 確認済(Cloudflare 経由運用)
- Step 2 Bot Management の現在設定確認 ✅ archives/86 補足⑥で確認済
- Step 3 検証済み AI エージェント allow 明示化 🔧 archives/86 で実装済の「全部 allow(攻め)」戦略から、本稿の Verified AI Agent カテゴリ別 allow に移行検討中
- Step 4 Cloudflare Analytics で測定 🔧 archives/86 公開後の verified AI agent traffic 推移を観察中(週次レビュー開始)
- Step 5 GA4 / SC との突合 ✅ archives/76 で GA4 AI Search チャネル設定済・SC 並走中
5ステップのうち2項目はこれから順次実施する。本稿公開と同時に、Verified AI Agent 個別 allow への移行検討に着手する。未実装は正直に開示してから、すぐ実施する ── 当サイトの self-proof の作法である。
まとめ ── 半歩先で警告し、半歩先で対応する
本稿で記録した事実を、最後に3つに整理する。
- 2026年6月、機械トラフィックが人間トラフィックを上回った(57.5% vs 42.5%、Cloudflare 公表)。Web の半分は、もう人間ではない
- 当サイトの archives/86 が業界より半歩先で警告した。公開4日後に Playwire が業界向けに同じ警告を出し、当の Cloudflare 自身が「ブロックから検証署名へ」のデフォルト転換を実施した
- IETF Web Bot Auth(Cloudflare + Google 共著)が業界標準として始動している。当サイトの 5 ステップに従えば、Free plan でも検証済み AI エージェントの allow を明示化できる
archives/86 で警告した側として、本稿で続報する責任を果たした。次は実装フェーズである。Verified AI Agent 個別 allow への移行、verified AI agent traffic の週次レビュー開始 ── この2つは数日以内に当サイトで実走し、続報で記録する。
「半歩先」は責任を伴う。次の半歩を、当サイトは正直に踏み出し続ける。
関連記事
- archives/86「Cloudflareのデフォルト『AI bots ブロック』があなたのGEOを殺している」 ── 本稿の原典・self-proof 実走
- archives/85「守る側の設計思想 — Preferred Sources 3原則の実装ガイド」 ── 3原則(決定権・温度・沈黙)の提唱
- archives/87「受け取られ方を設計する──Preferred Sources 3原則の実装ガイド」 ── 3原則の実装ガイド
- archives/83「ボットが世界の57%を占めた日 — AIクローラー時代のアクセスログ」 ── クロール対リファラー比の初出
- archives/78「GEOが公式になった日」 ── Google Search Central による GEO 公認
- archives/76「AIに表示された回数を知っているか — GSC・GA4・Bing、3ツール立体計測」 ── 3層計測の初出
主要出典
- IETF draft-meunier-web-bot-auth-architecture-05(Thibault Meunier・Sandor Major 共著・2026-03-02)
- Cloudflare「Signed agents」(2025-08-28)
- Cloudflare「Moving past bots vs. humans」(2026-04-21)
- Cloudflare「The crawl-to-CLIck GAp」
- Cloudflare Web Bot Auth docs
- Cloudflare Verified Bots docs
- Playwire「Cloudflare's Default AI Bot Block Is Killing Your GEO Strategy」
- OpenAI「Introducing ChatGPT Atlas」
- Anthropic「Piloting Claude in Chrome」
- Perplexity Comet
- Google Chrome at I/O 2026
- Human Security「Perplexity Comet 検証可能性分析」
WEBサイト