クロールの統計情報でGoogleクローラーのクロール数が低下したら対処が必要なのか？

クローラーは任意のページに対して一度アクセスして終わり、という訳ではありません。毎日、または数日おきにウェブページが存在しているかどうか、ページの内容が変わっているかどうか、クロールします。場合によっては日に何度もアクセスします。これは他の検索エンジンよりも特にGoogleはその傾向があります。

特定のページに対する各クローラーのアクセス状況です。Googlebotのクロール頻度は他のクローラーと比較して段違いの多さです。スマートフォン用のGooglebotのクロール頻度が少ないことからも、まだモバイルファーストインデックス導入前なのが推測できます。モバイルフォーストインデックス導入後はこの数字が逆転するのだろうと予測しています。

クロール頻度（クロール数）とサイトの品質に相関はあるのか？

「ない」だろうと言いたいところです。しかし、Search Console ヘルプを見ると気になる一文があります。

サイトに変更頻度が低い情報がある場合や、サイトの品質があまり高くない場合は、サイトのクロール頻度が落ちる可能性があります。サイトを率直に見て、またサイトに関係がないユーザーに偏りのない意見を聞いて、全体的にサイトのどこをどのように改善すればよいかを検討してください。

▼クロールの統計情報レポート（ウェブサイト）
https://support.google.com/webmasters/answer/35253

クロールの絶対数は更新頻度とページ数に比例します。ページ数の少ないサイトよりも多いサイトの方がクロール数は多いです。

こちらは大規模サイトのクロール状況です。

そして小規模サイトのクロール状況はこちら。

Googlebotは頻繁に再来訪するので、生きているサイト（更新性がありページ数が増減しているサイト）であればクロール数が減るということは何かしらの原因を疑います。前述のSearch Console ヘルプ「クロールの統計情報レポート」にもある通りサイト側に何かしらの問題があれば（ページが壊れている、サーバー負荷が高いなど）、クロール数が減少するでしょう。それに該当せず、サイトが更新されているにも関わらずクロール数が減っている場合は、サイト品質が低いと見られている可能性があります。

ウェブマスターの皆さんは日々サイトのアクセス状況をウォッチしているはずです。それに加えて少なくともSearch Consoleのクロールの統計情報も定期的にご確認ください。何かサイトのアクセス数に変化があった時にクロール数にも現れるかもしれませんので。

このnoteは株式会社Webの間のコラムの転載です。オリジナル記事はこちら。
クロールの統計情報でGoogleクローラーのクロール数が低下したら対処が必要なのか？