2026年10月17日 Cloudflareは確認済みボットを、名乗りが本物かに加えて、robots.txtと429を守り続けているかでも評価し続ける仕組みを書いた ── 自分のサイトのrobots.txtと429がボットに読める形かを確認する13項目(2026年10月時点) Cloudflareは2026年10月16日、確認済みボットをrobots.txtと429を守り続けているかでも評価する仕組みを書いた。評価は社内で使い始めた段階で、閾値は書かれていない。自分のサイト ... SEO技術