Googleのクロール数が急激に増えちゃったのでちょっと語ってみる(Googleクローラーの頻度ってどれくらい？)

Webサイトを運営している人がみんな気にしている事と言えば、SEOですね😉
Googleに自分のWebサイトが検索されるにはSEO
とにもかくにもSEO大切ですよね。

今回は、2021年の年末から2022年の年始から今尚続いている自分のWebサイトへのGoogleクローラーのアクセスが異常に増加⤴️してしまったので
色々と語ってみたいと思います😏

あれあれ❓
突然、1日のクロール数が58.8万アクセス❓
嬉しい🤗ですよねw
ただし、1日に50万のアクセスをさばくなんて、難しい・・・
（お金があれば余裕）

この事象に気づくことになったのは、サーバーのLoadAverageが上がってしまったので、気づくことに・・・年末なのに😭

Googleのクローラー(GoogleBot)が自分のWebサイトを回ってきてくれるかは大切でSEO的にも重要。

それにしても、Googleのクロールバジェットでどんだけあるんですかね。。。

50万アクセスなんて、個人のWebサイトでは、あまり経験することができないので、この機会に語ってみたいと思います😉

ちなみに、自分が運営する他のWebサイトでも同様に
Googleクローラーの頻度が上がってしまったようです。
相互リンクがあるからかな❓

こちらのサイトでは、1日あたり22万アクセスほど

こちらのサイトは、1日あたり約6万アクセス。大体1日6万から10万アクセスくらいが程よく良い感じだと思っています😉
（サイトのページ数にもよりますが）

こちらのサイトは、1日あたり10万アクセス。
年末でGoogleのクローラーのアクセス頻度が上がったようですね。
（理由は不明ですが）

Googleクローラーがたくさんアクセス（1日に100万アクセス）してくれると何が良いのか語ってみます😉

メリット
・多くのページをGoogleがみにきてくれるという嬉しさ
　Googleは、不要なクロールを避けてくれるようなので、自分のWebサービスに価値あるページがあるのだと実感できる（持論）😏

・大量アクセスでサービスの負荷検証ができる
　Googleは、サーバーのパフォーマンスを見ながらクローリングしてくるので、Webサイトのレスポンスが悪くないのだと実感できる（持論）😏

・ちょっとだけ、遅いSQLクエリとか発見できる（高負荷の時）
　1万円/月の低スペックなサーバなので程よくチューニングできる

デメリット
・1日に100万もアクセスがあるとサーバの負荷が上がる
　特に年末年始にエラーがSlackで届いて余計な仕事が増えた😭

・ちょっとだけ、エラー（5系）が発生してしまう
　そりゃ、エラー出るよねw

Googleクローラーの動きは、リアルタイムでサーバーのログなどでみるしかないのですが、Searchコンソールで数日後に、数値をみることができます❗️

Googleのクロール数を知る方法とGoogleBotのクロール頻度を変更する方法は、こちら

Googleのクロール数を確認する方法

1:Searchコンソールにログインする
2:左メニューの設定をクリック
3:クロールの統計情報の行の「レポートを開く」をクリック
4:これでクロールの情報をみることができます。

日別にクロールされたリクエスト件数と、その際にダウンロードされたページサイズ、そして、平均のレスポンスタイムを知ることができます。
さらに、このWebサイト（ホスト）が正常化どうかまで判定してくれます。
もちろん、問題が起きているようなWebサイトはクロール頻度が下がります。（たぶん）

他にも、Webサイトのレスポンスの状態や、Botのタイプ別割合から、スマートフォンのBotなのかPCのBotなのかイメージのBotなのか、広告（AdsBot）なのか、割合まで表示してくれます😉
スマートフォンのGoogleBotが多くきてるみたいですね。

ちなみに、AMPページがダントツでクロールされているようです。もう２年前の記事ですが、SEOに取り組むならスマホサイトから作るべき的なことを書いてあります👇

いきなり、Googleのクローラーが回ってきた場合や、Goolgeのクローラーが回ってきてくれない時に、手動でGoogleクローラーのアクセス頻度を変更することができます。
（自分は、Googleが推奨しているGoogleに任せているので手動での変更はしません）

GoogleBotのクロール頻度を変更する方法

昔より、設定変更画面がわかりづらくなったので、Googleクロール頻度の変更方法を簡単にご紹介します😉
1:Searchコンソールにログインする
2:左メニューの「以前のツールとレポート」をクリック、「詳細」をさらにクリック
3:下の方にスクロールすると「クロール頻度の設定」があるのでクリック

4:クロールの頻度の設定（デフォルトでは、推奨になっている）ので「Googleの最大クロール頻度を制限する」をクリック

5:Webサービスのパフォーマンスにもよると思うが、秒間のリクエスト数を手動で変更することができる。（高くもできるし、低くもできるようだ）

Googleが推奨しているのは、自動最適なので、特に変更はいらない気がするけど

年末・年始は、データ解析的なネタを書こうかと思っていたのだけど。10年前のようなネタですみません🙇‍♂️

追記：クローラーが大量に来た結果、たった1日で、インデックスされたページが約60万ページも追加された。（こんな超高速で大量にインデックスされた経験ない・・・どうなってるんだろw）