Googlebotの名乗りは誰でも書ける。通す・止めるを名乗りだけで決めず、接続元で確かめる ── 自分のサイトの判定を点検する13項目(2026年10月時点)
名乗り(User-Agent)は誰でも書けるため、Googleは逆引き・正引きと公開しているIP範囲の一覧で確かめるよう案内している。当サイトの14日分のログでは、Googlebotを名乗る行の37. ...
テーマから探す(カテゴリ一覧) / キーワードから探す(タグ一覧)
名乗り(User-Agent)は誰でも書けるため、Googleは逆引き・正引きと公開しているIP範囲の一覧で確かめるよう案内している。当サイトの14日分のログでは、Googlebotを名乗る行の37. ...
Cloudflareは10月9日、Markdown for Agentsが変換できるHTMLを、展開後2MiBから6MiBまでに広げた。自社のページの展開後の大きさと、本文の置き場を確かめる13項目を ...
Googleの公式文書が書く条件を、確かめやすい6つに分けた。公式文書は、すべて満たしても表示は保証されないと書く。ホームページ・2つのクローラー・URLの状態を、14項目で順に確かめる。
2026年8月、GoogleはJSON-LDを取り出すときのHTMLエスケープ解除を1回だけにしたと投稿した。二重エスケープが残っていないかを、ページのソースとリッチリザルトテストで確かめる13項目と ...
Search Consoleのクロールの統計情報レポートが示す8つの指標と、robots.txt取得失敗時のGoogleの挙動を、公式ヘルプの記載から整理した。自社サーバーログでの計測結果も添え、明日 ...
robots metaタグ・X-Robots-Tagには、noindex以外に11個のルールがある。衝突時の優先順位や、AI Overviews・AI Modeへの言及の有無を、公式ドキュメントと自社 ...
GoogleクローラーやフェッチャーのIPレンジを示すJSONファイルの置き場所が変わり、旧パスは6か月以内に廃止される予定です。自社のファイアウォールやWAF設定に旧URLが残っていないか、正規クロ ...
Core Web Vitals(CWV)は実際のChromeユーザーの利用データから測定される指標で、Googlebotのクロールには関与しない。クロール効率を左右するのはサーバー応答速度であり、CW ...
2026年3月31日公開のGoogle公式記事によれば、Googlebotは個々のURLにつき最大2MB(PDFは64MB)までしかバイトを取得しない。クロール容量制限とクロール需要の違いを整理し、自 ...