2026年09月04日 AIクローラーは1つではない ── robots.txt・llms.txtで「通す」「止める」を切り分ける(2026年9月時点) GPTBot・ClaudeBot・Google-Extendedなど、AIクローラーは学習用・回答用・検索品質向上用に分かれている。robots.txtとllms.txtで実際に止められることと止めら ... SEOAI技術