AIクローラーをブロックしても引用を防ぐことはできない？

2026-06-29 追記 — IETF webbotauth WG が Active 化・標準化が動き始めた

2026 年、AI クローラーと Web サイトの「身元確認」を標準化する動きが、IETF（インターネット技術タスクフォース）で正式に始動しました。robots.txt の「お願いベース」から、暗号署名による「検証ベース」への大転換です。WEBディレクターが robots.txt と AI クローラー対策を見直す前提が、根本から変わろうとしています。

IETF webbotauth WG の正式構成

• WG 名: webbotauth Working Group（Chartered Working Group・Active）
• Chairs: David Schinazi（Google）+ Rifaat Shekh-Yusef
• AD（Area Director）: Mike Bishop
• 主要 draft: draft-meunier-web-bot-auth-architecture-05（2026-03-02）
• 共著: Thibault Meunier（Cloudflare）+ Sandor Major（Google）
• マイルストーン: 2026-04-30 Standards Track / 2026-08-31 BCP

ベース技術と意味

Web Bot Auth は RFC 9421（HTTP Message Signatures）と Ed25519 公開鍵暗号をベースに、AI クローラーが「自分は本物の Anthropic / OpenAI / Google の bot です」と暗号署名で証明する仕組みです。robots.txt の「準拠してくれることを願う」という従来モデルから、「署名がなければサーバが拒否する」検証モデルへの移行が、Cloudflare と Google の業界 2 大プレイヤーが共著で進めている点に注目すべきです。

Cloudflare Verified AI Agent 19体 launch — robots.txt の役割が再定義される

Cloudflare は 2026 年 6 月の公式 blog「Signed agents」で、Verified AI Agent 19 体の launchを発表しました。robots.txt が「未検証クローラーの排除」役割を担い、Verified カテゴリが「検証済みエージェントの allow」を担う、二層構造への再編成です。

Verified AI Agent 19 体の代表例

• ChatGPT Atlas（OpenAI のブラウザ × AI 一体型）
• Claude in Chrome（Anthropic の Chrome 拡張 agent）
• Perplexity Browser（Perplexity Comet 系の自律エージェント）
• Gemini Agent Mode（Google Spark 系の自律エージェント）
• Brave Leo（Brave 標準搭載 AI agent）
• Arc's Browse for Me（Arc ブラウザの自律閲覧 agent）
• 他 13 体（公式 blog「Signed agents」で全リスト公開）

新ルールアクション「Challenge Agent」の登場

Cloudflare は同時に Challenge Agent という新しい WAF ルールアクションを追加しました。これは「未検証の AI エージェントには CAPTCHA / 署名要求を返す」動作で、robots.txt とは独立した検証層として機能します。WEBディレクターは、robots.txt（広域お願い）+ Verified allow（検証済み許可）+ Challenge Agent（未検証チャレンジ）の 3 層を組み合わせる時代に入りました。

WEBディレクターが今すぐ確認すべき3つの設定

設定 1: Cloudflare で Verified AI Agent カテゴリの allow を確認する

Cloudflare の WAF Custom Rules で cf.verified_bot_category eq "Verified AI Agent" という条件を allow（skip Bot Management）に設定します。これにより、ChatGPT Atlas / Claude in Chrome / Perplexity Browser など 19 体の verified agent が、Bot Fight Mode の影響を受けずにサイトへアクセスできます。当サイト archives/86「Cloudflareのデフォルト『AI bots ブロック』があなたのGEOを殺している」で実装手順を完全公開しました。

設定 2: robots.txt の役割を「未検証クローラーの境界線」に整理し直す

従来の robots.txt は「全 AI クローラーへのお願い」でしたが、Verified カテゴリの登場で 「未検証クローラー向け境界線」に役割が変わります。GPTBot / ClaudeBot などの個別 User-Agent ブロック設定を見直し、Cloudflare の Verified allow と矛盾しないよう整理します。

設定 3: Web Bot Auth 標準化に備えた継続観察

IETF webbotauth WG は 2026-04-30 に Standards Track、2026-08-31 に BCP のマイルストーンを設定しています。2026 年下半期から 2027 年にかけて、Web Bot Auth が「サイトが対応していないと AI agent が来ない」段階に進む可能性があります。WEBディレクターは IETF の draft 進捗を月次でレビューし、CMS / WAF / CDN の対応状況を把握しておくべきです。

📌 関連コンテンツ

• 📝 archives/86「Cloudflareのデフォルト『AI bots ブロック』があなたのGEOを殺している」
• 📝 archives/89「機械が人間を超えた日 — Cloudflare『検証署名』への転換」
• 📝 archives/71「検索品質評価ガイドラインは 2025→2026 でこう変わった」
• 🔧 WEBサイト総合分析ツール

出典: IETF webbotauth WG (Active) 公式ページ / draft-meunier-web-bot-auth-architecture-05 (2026-03-02) / Cloudflare「Signed agents」(Verified AI Agent 19体 launch + Challenge Agent) / Cloudflare「The crawl-to-click gap」