headとbodyをクロールするのはタイプが異なる別々のGooglebotか？

headとbodyで異なるGooglebotがクロールしている可能性

「ユーザーが指定した正規URL」が「該当なし」としてインデックスされる現象が確認され、インデックスと内部リンクは異なるタイプのGooglebotによってクロールされているのではないかとする推測が報告されています。過去にも同様の事例が確認されており、原因はGoogleのインフラストラクチャ更新に関連している可能性があるとされます。スパムアップデートがスマートフォン用Googlebotにペナルティを科し、コアウェブバイタルのデータ非表示に影響を与えたとの推測もあり、後日「ユーザーが指定した正規URL」が正しく表示され、パソコン用Googlebotによるクロールが影響したとみられる事例も報告されています。

Googlebotの挙動は外部からは完全にブラックボックスであり、こうした推測ベースの分析にも一定の価値があります。WEBディレクターとしては、原因を断定できない事象に遭遇した際も、時系列でのデータ変化を記録しておくことで、後から振り返って傾向を掴む材料になります。

チェックしておきたいこと

• インデックス関連の異常が発生した際は発生日時とデータの変化を記録しておく
• コアウェブバイタルのデータが正しく表示されているか定期確認する
• 「該当なし」等の不明瞭なステータスが出た場合は経過観察と再確認を行う