【SEO考察】PC用Googlebotがまだ働いている件｜その役割は？
2024年7月5日で完全終了すると言われた「パソコン用Googlebotによるクロール」ですが、弊サイトで未だ元気にクロール中です。PC専用ページもなければ、商品リスティングや Googleジョブ検索も関係ない弊サイトですが、PC用Googlebotがいったい何の役割を果たしているのか考察しました。
依然働くPC用Googlebot
7月5日以降も、PC用Googlebotが弊サイトをクロールし続けています。
PC用Googlebotによるクロールリクエスト数は、もともと1日30～40件程度でした。しかし、5月初週のサイトリニューアルと、サイトマップでURLを大量送信したタイミングでリクエスト数が急増し、7月5日以降も1日140件程度クロールを続けています。
サイトマップで大量送信したURLは、URL末尾に"/1000"を付されたスパムリンクの影響で重複コンテンツが大量発生した件に関連し、「リダイレクト」を早くGoogleに認識してもらおうという対応です。
また「その他のエージェント」もPC用と同じタイミングでクロール数が急増し、「PC用」＋「その他」のリクエスト数が「検出」リクエスト数とほぼ一致することから、サイトマップに新規追加されたURLを調査する役割をPC用とその他で分担して行っていると考えられます（スマホ用のクロールバジェットからあふれた場合）。
PC用がインデックスを更新する場合もある
本来、インデックス更新はスマートフォン用Googlebotの役割です。しかし、弊サイトではパソコン用がインデックスの更新を行う事象が観測されています。
画像中いずれのURLも6月11日よりリダイレクト処理を施しており、7月8日にPC用Googlebotが「検出」目的でクロールを試みてリダイレクトされたページです。しかし、左のURLはインデックス更新がされなかった一方で、右のURLはインデックス更新されています。
現時点では両者になぜこのような違いが生じたのか不明ですが、PC用Googlebotがインデックスを更新する場合もあることがわかります。
PC用は「参照元ページ」をたどらない
弊サイト正規URLの大半は、URL検査をすると「参照元ページ」に「そのページのhttp版」が表示されています。これに伴い、スマートフォン用Googlebotは毎日httpページもクロールしていることが判明しています。
このことから、スマートフォン用は「クロール対象ページ」に加えて「参照元」および「対象ページからの発リンク」をクロールすることでリンクの連続性を確認していると思われます。
一方で、PC用はhttpページのクロール履歴にほとんどその姿を現しません。ゆえに、PC用はリンクの確認の役割は持っていないと考えられます。
他の考察で発見したこと
「HTTPSのURL数と実URL数が一致しない理由」および「サーチコンソールの内部リンクはページランクとリンクジュースの濃さを表している？」での考察を総合すると、「重要度・関連性の高いリンク」ほど優先的にクロールされ、パンくずリストとは別にコンテンツに応じたグループ化を行っていると推測されます。
言い換えると「パンくずリスト」や「関連記事一覧」だけでは、ページのエンティティ形成ができないということです。
【考察】スマホ用・PC用の役割の違い
スマホ用は内部リンクの確認・コンテンツ内容の精査・インデックス更新（詳細調査）の役割を果たし、PC用は詳細調査の優先度を判断する（予備調査）役割を果たしていると推察されます。
弊サイトでの両botの履歴を見る限り、スマホ用は「404ページ」「リダイレクトページ」の再確認を優先して動いており、この影響でクロールバジェットから漏れたサイトマップ記載URLの検出をPC用が担っています（さらに漏れたURLは『その他のエージェント』が実施）。そしてその一部はPC用botがインデックスを更新します。このことから、クロールの優先順位は「消えたページの再確認＞新規送信したURL＞「リダイレクト」でのインデックス更新」となります。
これを別の角度から見ると、PC用Googlebotに「更新の必要なし」と判断されてしまうと、スマートフォン用Googlebotはやってこないということです。