クロールとインデックスに関わる5つの現象

2026年6月追記 — AIクローラーの引用格差と「読まれ方」の新常識

AI OverviewとAI Mode — 同じGoogleなのに引用URLは13.7%しか重複しない

Ahrefsの2025年12月調査で、クロールとインデックスの理解を根本から変える事実が明らかになりました。AI OverviewsとAI Modeは同一クエリに対し意味的に86%同じ回答を生成しながら、使用している引用URLの重複率はわずか13.7%です。

これはクロールとインデックスという観点からも示唆に富んでいます。Googlebotが同じページをクロール・インデックスしていても、AIの引用判定は機能ごとに独自の基準で行われている——「インデックス=引用される」の方程式は2026年には成立しないことを意味します。

AIクローラー別の「読み方」の違い

2026年時点では複数のAIクローラーがサイトにアクセスしています。それぞれの読み方の違いを理解することが、クロール対策の出発点です。

robots.txtで各クローラーへの許可/拒否を個別に設定できます。ただし標準Googlebotを許可していてもGoogle-ExtendedをブロックすることでコンテンツをGemini学習から保護できます（2023年8月のGoogle公式設定）。

クロールログで「AIクローラーを追う」— 実務的手順

どのAIクローラーがいつ何ページにアクセスしているかは、サーバーアクセスログで追跡できます。

1. アクセスログのAIボットフィルタリング: grep -E "GPTBot|ClaudeBot|PerplexityBot|Google-Extended" /var/log/httpd/access_log | awk '{print $1, $7, $11}' | head -50
2. クロール頻度の確認: GPTBotは15分間隔でアクセスするパターンが確認されている（2026年5月・OpenAI公式発表）
3. 高頻度クロール対象ページの確認: AIクローラーが集中しているページ = AIが「引用候補」として反復確認しているページ。そのページのAnswer Block強化が効率的

クロールデータを引用戦略にフィードバックするこのサイクルが、「クロールとインデックス」管理の2026年版です。

出典: Ahrefs調査（2025年12月）/ OpenAI GPTBot公式ドキュメント / robots.txt Google-Extended設定（Google公式）2023年8月〜

2026年6月追記 — ボット57.5%超・クロール対リファラル比の衝撃（Cloudflare 2026-06-03発表）

インターネット史上初: 人間トラフィックが少数派に

Cloudflare（2026年6月3日発表）の最新分析で、全世界のHTTPリクエストに占めるボットの割合が57.5%を超え、人間のトラフィック42.5%を上回りました。インターネット史上初めて、ボットが「多数派」になった節目です（ソース: Cloudflare Blog / TechTimes 2026-06-05）。

この数字が示すのは、「サーバーリソースの過半数はすでに人間ではなくボットのために使われている」という現実です。WEBディレクターがクロール予算・サーバー速度を気にすべき理由は、Googlebot対策だけではありません。

AIクローラー別「クロール対リファラル比」— GPTBotとClaudeBotの根本的な違い

同分析で、特に注目すべきデータが「クロール対リファラル比」です。クロールしたページ数に対して、実際にユーザーをサイトへ送り込んだ件数の比率で、AIクローラーがどれだけ「読むだけ」なのかを示す指標です。

ClaudeBotは3万8千ページ以上クロールして、ようやく1件のリファラー流入を送る計算です。AIクローラーは膨大にクロールするが、実際のトラフィックはほとんど送らない——これがCTR低下・ゼロクリック問題のクローラー側の実態です。

AIクローラーシェア（2026年5月・B2Bリファラー）

Cloudflareの同分析では、AIクローラーが全ボットトラフィックの9.3%を占めています。そのシェア内訳（B2B参照比）は以下の通りです。

• GPTBot（ChatGPT）: 62.6% — 最大シェア。ビジネス系コンテンツへの引用が多い
• ClaudeBot（Anthropic）: 18.5% — 長文・詳細コンテンツへの引用傾向
• その他（Perplexity・Copilot等）: 残り約19%

クロールログで「ロボットの目」を追う

WEBサイトサポートが本文で紹介しているサーバーログ解析のアプローチは、Cloudflareのデータが示す現実と直結しています。具体的な確認コマンドの例:

grep -E "GPTBot|ClaudeBot|PerplexityBot" /log/httpd/access.log | awk '{print $1, $7}' | head -50

ClaudeBotが38,000:1のペースでクロールしているなら、ログには相当数のClaudeBotアクセスが記録されているはずです。どのページを集中的に読んでいるかを把握することが、「AIに引用されるページ」の特定につながります。

ボット57.5%時代のクロール予算管理

人間トラフィックが少数派になった現在、robots.txt・Crawl-Delay・noindexの設計が以前より重要になっています。

• 価値の低いページは積極的にnoindex: ボットに「読んでもらう価値のないページを読ませない」設計がサーバー負荷軽減に直結する（当サイトではseo_article未強化ページをnoindex化済み）
• AIクローラーの許可/拒否設定: robots.txtでGPTBot・ClaudeBot・Google-Extendedを明示的に管理する。学習用クロールと回答生成用クロールは別User-Agent
• Crawl-Delayの設定: AIクローラーのアクセス頻度が高い場合はCrawl-Delayを設定してサーバー負荷を分散する

出典: Cloudflare Blog「Bot vs. Human Internet Traffic」（2026-06-03）/ TechTimes「More Than Half of Internet Traffic Is Now Bots」（2026-06-05）/ Cloudflare B2B参照データ（2026年5月）

2026年6月追記（第2弾）— クロール予算最適化の実例と、構造化データがAIクローラーに選ばれる統計

クロール予算最適化で効果があった実例（2026年時点）

「クロール予算を増やした・改善した」ことで具体的な成果が得られた事例を整理します。すべて2025〜2026年に業界メディアや公開レポートで報告されたものです。

• 事例1: noindex化で緊急クロール優先を確保（ECサイト）
  大型ECサイトが在庫切れページ・重複ページにnoindexを付与した結果、Googlebotのクロール頻度が重要ページに集中。インデックス遅延が7日→2日に短縮された（Crawl Budget案件としてSEO業界で共有された事例、2025年）
• 事例2: lastmod更新で鮮度シグナルを強化（メディアサイト）
  月次更新サイトがsitemapのlastmodを毎日更新するよう改善した結果、新着記事のインデックス速度が改善。さらにAI Overview引用回数の増加を確認。当サイトでも同様にsitemapのlastmodを毎日更新する運用を採用している
• 事例3: 内部リンク改善でInformation Agents向け導線を整備（当サイト実践）
  各記事の「📌 関連コンテンツ」ブロックを整備し、AIクローラーが重要ページを辿りやすくした。ClaudeBot・GPTBotのアクセスログで該当ページへのアクセス集中が確認されている（当サイト実測・2026年6月）

AIクローラーに引用されやすいサイト — 構造化データの統計（2026年最新）

「構造化データがあるとAIに引用されやすい」という定性論に対して、定量データが揃ってきました。

構造化データはGooglebotの「インデックス評価」に影響するだけでなく、GPTBot・ClaudeBotが「引用候補として選択する」際にも参照されています。つまり構造化データはSEOとGEOの両方で機能する共通インフラです。当サイトではコウゾウ（構造化データジェネレーター）でArticle・FAQPage・Organization・Personスキーマを実装済みです。

出典: Wellows「Google AI Overviews Ranking Factors 2026」/ Princeton GEO研究（arXiv:2311.09735）/ SEO業界事例集（2025〜2026年）

2026-06-24 追記 — GPTBot ALLOW率がDISALLOW率を初逆転 + Anthropic 3ボット分離確定 + Cloudflareデフォルトブロックの罠

2026年5-6月計測 — GPTBot ALLOW率がDISALLOW率を初めて上回った

2025年から2026年5-6月にかけての複数業界計測で、GPTBot の robots.txt ALLOW率 5.84% が、DISALLOW率 4.71% を初めて上回った事実が報告されています。これは「AIクローラーを片っ端からブロックすべきだ」という2024年までの初期反応から、運営者の判断が「ブロックすれば AI 検索流入を失う」という現実認識に転換した結果です。賢い運営者は、訓練用ボットと検索用ボットを区別して扱う方向に振れています。

Anthropic 3ボット分離が正式に公式化（2026-02-25）

Anthropic は ClaudeBot を3つに分離し、それぞれに別々のUser-Agent と用途を割り当てたことを公式に明文化しました。

2024年に「ClaudeBot 一括ブロック」を選んだサイトは、結果として Claude.ai のリアルタイム検索でも引用候補から外れることになりました。3ボット分離後の今は、各ボットの役割を理解した上で個別に制御する運用が標準です。

⚠️ Cloudflareデフォルト「Block AI bots」が GEO 戦略を殺す

2026年6月時点で Cloudflare は新規ドメインに対して「Block AI bots」をデフォルトONに設定する仕様変更を実施しました。これは robots.txt とは別レイヤー（インフラ層・DNS/CDN）でのブロックで、サイト運営者が robots.txt で個別ボットを ALLOW しても、Cloudflare 側で弾かれていればAIクローラーは届きません。

Cloudflareデフォルトブロックの実害

• サイト運営者は「robots.txt を整備した」と思い込んでいても、実態は AIクローラー全件 HTTP 403 で弾かれている可能性
• AI Overview/AI Mode/ChatGPT/Claude/Perplexity すべての検索流入が消える
• Cloudflare ダッシュボードの Security → Bots → AI Auditで実態を確認しないと、ブロックされていることに気づけない

「block training, allow search」 — 2026年下半期の新コンセンサス

2026年6月以降の業界コンセンサスは「全 block でも全 allow でもなく、訓練用は block・検索用は allow」です。具体的な振り分けは以下の通り。

出典（追記分）: Cloudflare公式blog「Control content use for AI training」 / Anthropic公式（3ボット分離説明・2026-02-25） / Playwire「Cloudflare's Default AI Bot Block Is Killing Your GEO Strategy」 / PPC.land「Anthropic clarifies what its three web crawlers do and how to block them」