クローラビリティ改善の重要性と確認方法・事例を紹介
こんにちは！株式会社エイチームライフデザインでSEO・コンテンツマーケターをしている田中 裕亮です。
ChatGPT等の生成AIが登場し、これまで以上のスピードでインターネット上の情報が増加していく時代になりました。
情報の爆発的な増加に従い、Googleなどの検索エンジンに効率的な情報収集（クロール）をしてもらうことの重要性も高まっています。
そのうえで、「品質の低いページの排除」や、「古いページから新しいページへの転送」といったサイト内の情報整理は、今後、どのWebサイトのSEOにおいても不可欠になるだろうと考えています。
そこで本記事では、検索エンジンによる効率的なクロールの重要性と、クロール促進のための手法、品質の低いページの排除…などに焦点を当て、改善事例とあわせて解説していきます。
なぜクローラビリティが重要なのか
以後の解説で重要になるため、まずは「クローラビリティ」という用語について説明します。
クローラビリティとは、検索エンジンの情報収集ロボット（クローラー）によるデータの見つけやすさ・認識のしやすさを表す言葉です。もう少しかみ砕けば、「クロールのしやすさ」と表現されることもあります。
クローラビリティがSEOにおいて重要な理由は大きく2つです。
1つずつ詳細を説明していきます。
ページを認識してもらう”スピード”が早くなる
クローラビリティを改善することで、新規投稿した記事や、改修したページ内容を検索エンジンに素早く認識してもらえます。
「クロールのしやすさ」が改善されると、クローラーがWebサイト内で各ページを見つけたり、それぞれの内容を把握する速度が上がるためです。
例として、部屋の中で「時計を探す」シーンを考えてみましょう。
非常に汚くて荷物が散乱した部屋の中から時計を探す
荷物が整理整頓された部屋から時計を探す
このケースの場合、2の整理整頓された部屋から時計を探すほうが、1の荷物が散乱した部屋から探すよりも「探す時間」は短くなりますよね。
クローラーも同様で、情報が散乱したWebサイト内を巡るよりも、整理整頓されたサイトを巡るほうが、探索するスピードが各段に速くなります。
結果、情報が散乱していないWebサイトの方が、クローラーにページを認識してもらうスピードが上がるということです。
ページを認識してもらう”量”が多くなる
クローラビリティの改善が重要な理由の2つ目は、クローラーがWebサイトに訪れたときにクロール数が多くなるためです。
Googlebotが1つのサイトをクロールできる時間には制限があります。これは、各Webサイトの規模の大小や、更新頻度といった指標によって割り当てが決まるようです。
ウェブはほぼ無限に近い空間であるため、利用可能な URL をすべて調査してインデックスに登録するとなれば、Google の能力を超えることになります。そのため、Googlebot が 1 つのサイトをクロールできる時間には限界があります。
この制限を鑑みると、クローラビリティの改善で、この時間内クロール率を高めてクロール数を増やすことができます。
こちらは「家族旅行」を例に考えてみましょう。
家族で2日間の旅行が決まりました。行きたい場所はたくさんありますが、時間は限られており、どの観光地をいつ訪れるか、どのレストランで食事をするかなど、時間をうまく使って計画を立てる必要があります。
この例では、決まった2日間で効率的に行きたいところに行く計画（網羅性）が重要になってきます。
クローラーも同じで、決められた”時間”の中で効率的かつ網羅的にクロール（計画）をしてもらう必要があります。
このように、時間内クロール率を上げることで、網羅的にページを巡回してもらえるようになります。
もし、クロールされない悩みを抱えている方がいれば、クローラビリティを改善することで評価されるページ量を増やせる可能性があるので検討してみてください。
補足：Googlebotにはクロールバジェットと呼ばれる、「クロール頻度の制限」があります。そのためクローラビリティを改善しても、必ず評価されたいページのクロール頻度が改善されるわけではないことも確認しておきましょう。クロールバジェットについては「Googlebot のクロールの割り当てについて | Google 検索セントラル ブログ」をご覧ください。
ここまでクローラビリティが重要な理由を2つ紹介しました。
改めて、AI登場で大量のコンテンツ作成が可能になった昨今、これまで以上にサイト整備が重要になってきていると感じています。
次の章では、クロール制御やインデックス制御、不要なページの削除などによるクローラビリティ改善のための手順を紹介します。
クローラビリティを改善するための3つの手順
クロール・インデックス制御や、不要なページの削除によるクローラビリティの改善には、一つひとつのURLを細かく確認していく必要があります。
改善するための手順は大きく3つです。
Google Search Consoleの「ページのインデックス登録」を確認
「クロール済み - インデックス未登録」を確認
クロールされているページを細かく確認していく
※今回は1番分かりやすい「クロール済み - インデックス未登録」をピックアップしています。
Google Search Consoleの「ページのインデックス登録」を確認
確認したいサイトのGoogle Search Consoleサイドバーから「ページ」を選択します。
「クロール済み - インデックス未登録」を確認
該当の欄から「クロール済み - インデックス未登録」をクリックします。
クロールされているページを細かく確認していく
URL一覧に表示されるURLを1つずつ確認していきましょう。
次の章では、実際にクロールされているページを細かく確認していく方法を事例をもとに紹介します。
クローラビリティを改善する事例を紹介
ここで紹介するのはあくまでも1事例のため、実施する際は社内で充分に検討してから取り組みをしてみてください。
事例①：robots.txtによるクロール拒否
例：存在しないURLが「クロール済み - インデックス未登録」に大量に表示される。
URL例：末尾に/priceがついてしまうようなURLが大量（数百単位で）にクロールされていたとします。（※このURLは実在しません。）
このような場合、まずはURLが生成される理由の調査が最も重要となります。
よくあるケースで、内部リンクの設定ミスで末尾に/priceがつくようになってしまっているなどがあります。
内部リンクミスの修正だけで「クロール済み - インデックス未登録」の解消ができそうであれば、それ以上の対応は必要ありません。
もし、内部リンクなどの整備をしてもGoogleによって存在しないURLのクロールがされ続ける場合は、robots.txtでクロールの拒否を行いましょう。
やることはrobots.txtにクロール拒否（Disallow）を追加することです。
robots.txtファイルは、検索エンジンによってサイトがクロールされないようにするために使用します。
robots.txtについて詳しく知りたい方は「robots.txt の書き方、設定と送信」の記事もご覧ください。
事例②：不要なページの削除
例：AIで大量に作成した自動生成ページ（質が低い）が「クロール済み - インデックス未登録」に表示される。（※このURLは実在しません。）
質の低いコンテンツを大量に持っている場合、クロールする必要のないページを大量にクロールしてしまうことでクローラビリティが悪くなることがあります。
コンテンツの質が低く、流入が全くないページが複数存在している場合には、ページの削除を検討しましょう。
ただし、GoogleはAIで作成したコンテンツを”悪”とはしておらず、あくまでも”品質”に重点をおいています。そのため、リライト等でコンテンツの質を改善することも対策方法のひとつです。
Google のランキング システムは、E-E-A-T（専門性、エクスペリエンス、権威性、信頼性）で表される品質を満たした、オリジナルかつ高品質のコンテンツを評価することを目的としています。コンテンツがどのように制作されたかではなく、その品質に重点を置く Google の姿勢は、信頼できる高品質な検索結果をユーザーに提供するうえで、長年にわたって有用な指針となってきました。
クローラビリティとは関係ありませんが、質の低いコンテンツを大量にサイト上にもっていると、サイト全体の順位に影響が出る可能性もあるので注意が必要です。
ウェブサイトの一部に質の低いコンテンツが掲載されている場合に、サイト全体のランキングに影響が及ぶ可能性があります。
今回の改善を機に、カバレッジエラーを極力なくしていきたいとお考えの方は「【カバレッジエラー撲滅】Google検索評価に強いサイトを構築するためのチートシート」もご覧ください。
まとめ
改めて、クローラビリティの重要性と改善方法をまとめます。
AIでコンテンツが大量に生成できるようになることで、よりクローラビリティの重要性が高くなってくると考えています。
紹介した事例も1つの対策手段として、サイト改善に役立てていただけると幸いです。
エイチームライフデザインのnoteでは、コンテンツマーケ・アドマーケ・ブランディングデザインなどのノウハウや社内事例を紹介していますので、ぜひフォローやスキをいただけると幸いです。
