クロール バジェットの最適化: クロール バジェットの無駄をなくす 8 つのヒント

クロール バジェットの最適化: クロール バジェットの無駄をなくす 8 つのヒント

Google は、インターネットは Googlebot がすべてをクロールしてインデックスするには大きすぎる場所であることを認めています。そのため、検索大手は Web サイトに「クロール バジェット」を割り当てています。Google クロール バジェットを最適化して、希望するキーワードでランキングされる可能性を高める方法を学びましょう。

要点: Google が重要なページをクロールできない場合、そのページは検索結果に表示されません。これにより、予想よりもオーガニック トラフィックが少なくなり、ランキングが下がる可能性があります。

クロール バジェットの最適化により、Google が重要な各ページにアクセスしてクロールし、インデックスすることが容易になり、検索を通じてより多くの顧客にリーチできるようになります。ここでは、クロール バジェットについて知っておくべきこと、クロール バジェットの無駄を特定する方法、および SEO クロール バジェットの問題を回避するためにサイトを最適化する方法を説明します。

クロール バジェットとは?

クロール バジェットとは、Google が特定の日にクロールするサイトのページ数を指します。これは、クロール レートの制限とクロール需要に基づいています。

クロール レートの制限とは、ウェブサイトのユーザー エクスペリエンスに影響を与えずに Google がクロールできるページ数です。基本的に、Google はリクエストでサーバーに過負荷をかけたくないので、サーバーが処理できる量 (サーバー リソース) とサイトをクロールしたい量の間で妥協点を見つけます。

クロール需要は、URL の人気度と新鮮さによって決まります。URL が古く、検索する人がほとんどいない場合、Google はクロール頻度を下げます。

クロール レートに影響を与えることはできませんが、新しいコンテンツを作成し、SEO のベスト プラクティスでサイトを最適化し、404 や不要なリダイレクトなどの SEO の問題に対処することで、クロール需要に影響を与えることができます。

クロール バジェットの最適化とは

クロール バジェットの最適化とは、検索クローラーのナビゲーション性を向上させ、クロール バジェットの無駄を減らすことで、Googlebot がサイトにアクセスし、クロールし、インデックスを付けやすくするプロセスです。これには、エラーや壊れたリンクの削減、内部リンクの改善、重複コンテンツの noindex 化などが含まれます。

Google がサイト上のページを十分にクロールしていない場合や、クロール頻度が十分でない場合、クロール バジェットが問題になることがあります。

Google が使用できるリソースは限られているため、特定の日に特定のサイトに割り当てることができるクロール数には限りがあります。大規模なサイトの場合、Google が毎日クロールできるのはサイトのページのごく一部だけということになります。これにより、ページがインデックスに登録されるまでの時間や、コンテンツの更新が Google のランキングに反映されるまでの時間に影響する可能性があります。

幸いなことに、サイトが Google のクロール バジェットの問題に悩まされていると思われる場合は、サイトを最適化してクロール バジェットを最大限に活用するために実行できる特定の方法があります。

クロール統計レポートを確認する方法

Google Search Console でクロール統計を確認するか、サーバー ファイルのログを分析することで、クロール バジェットの問題を特定できます。

Google Search Console でクロール統計レポートを表示すると、Googlebot がウェブサイトとどのようにやり取りしているかをよりよく理解できます。 Google のクローラーが何をしていたかを確認するには、次のように使用します。

Google Search Console を開いてログインし、ウェブサイトを選択します。次に、Search Console メニューから [設定] オプションを選択します。

クロール統計セクションの下に、過去 90 日間のクロール レポートが表示されます。[レポートを開く] をクリックして開きます。

クロール統計レポートの意味

Googlebot のアクティビティを確認できるようになったので、データを解読します。クロール レポートから取得できる情報の種類を簡単に説明します。

メインのクロール チャートには、Googlebot のクロール アクティビティが視覚的に表示されます。ここでは、(1) 過去 90 日間に Google が行ったクロール リクエストの数、(2) サイトのサーバーの平均応答時間、クロール中にダウンロードされたバイトの合計量を確認できます。

「ホスト ステータス」セクション (3) では、クローラーがウェブサイトにアクセス中に可用性の問題に遭遇したかどうかがわかります。

白いチェックマークの付いた緑の円は、Googlebot が問題に遭遇しておらず、ホストがスムーズに動作していることを示します。

緑のチェックマークの付いた白い円は、Googlebot が 1 週間以上前に問題に遭遇したが、現在はすべて正常に動作していることを示します。

白い感嘆符の付いた赤い円は、Googlebot が過去 1 週間以内に少なくとも 1 つの重大な問題に遭遇したことを示します。

クロール リクエストの内訳では、Google のクローラーがサイトとどのようにやり取りしているかについて、より詳細な情報が提供されます。

レスポンス別

最初に確認するセクションは、「レスポンス別」セクションです。このセクションでは、Googlebot がサイトのページをクロールしようとしたときにどのようなレスポンスを受け取ったかがわかります。Google は、次のものをクロールが適切であると見なします。

od レスポンス:

• OK (200)
• 恒久的に移動 (301)
• 一時的に移動 (302)
• 移動 (その他)
• 変更なし (304)

理想的には、レスポンスの大部分が 200 である必要があります (一部の 301 も OK)。「見つかりません (404)」などのコードは、Web サイトに行き止まりがあり、クロール バジェットに影響する可能性があることを警告しています。

ファイル タイプ

[ファイル タイプ別] セクションでは、Googlebot がクロール中に遭遇したファイルの種類が示されます。表示されるパーセンテージ値は、その種類のレスポンスの割合を表すものであり、各ファイル タイプのバイトの割合を表すものではありません。

目的別

[目的別] セクションでは、クロールされたページがクローラーが以前に見たページ (更新) か、クローラーにとって新しいページ (検出) かを示します。

Googlebot タイプ別

最後に、[Googlebot タイプ別] セクションでは、リクエストを行ってサイトをクロールするために使用される Googlebot クロール エージェントの種類が示されます。たとえば、「スマートフォン」タイプは Google のスマートフォン クローラーによる訪問を示し、「AdsBot」タイプは Google の AdsBot クローラーの 1 つによるクロールを示します。補足として、robots.txt ファイルを編集することで、特定の種類の Googlebot によるウェブサイトのクロールをいつでも無効にできます。

クロール レポートのデータの解釈方法について詳しく知りたい場合は、Google の Search Console クロール レポート ガイドをご覧ください。

クロール バジェットを無駄にしているかどうかを確認する方法

クロール バジェットを最適化することで Googlebot がより多くのページをクロールするのに役立つかどうかをすばやく判断する方法は、サイトのページのうち実際に 1 日にクロールされているページの割合を確認することです。

ウェブサイトにある固有のページ数を正確に調べて、「1 日あたりの平均クロール数」の数で割ります。1 日にクロールされるページ数の 10 倍以上ある場合は、クロール バジェットの最適化を検討する必要があります。

クロールに問題があると思われる場合は、まず「レスポンス別」セクションを見て、クローラーがどのようなエラーに遭遇しているかを確認します。予算を食いつぶしている原因を正確に把握するには、より詳細な分析を行う必要があるでしょう。サーバー ログを確認すると、クローラーがサイトとどのようにやり取りしているかについて、より詳しい情報が得られます。

サーバー ログを確認する

クロール予算を無駄にしていないかどうかを確認するもう 1 つの方法は、サイトのサーバー ログを確認することです。これらのログには、Googlebot がサイトをクロールするときに行うリクエストなど、ウェブサイトに対して行われたすべてのリクエストが保存されます。サーバー ログを分析すると、Google がウェブサイトをクロールする頻度、クローラーが最も頻繁にアクセスしているページ、クローラー ボットが遭遇したエラーの種類がわかります。

これらのログは手動で確認することもできますが、このデータを探すのは少し面倒です。ありがたいことに、SEMRush ログ ファイル アナライザーや Screaming Frog SEO ログ ファイル アナライザーなど、いくつかの異なるログ アナライザー ツールを使用すると、ログ データを分類して理解することができます。

クロール バジェット SEO: クロール バジェットを最適化する 8 つの方法

無駄なクロール バジェットを発見しましたか? クロール バジェット SEO 最適化戦略は、無駄の抑制に役立ちます。ここでは、SEO クロール バジェットを最適化してパフォーマンスを向上させる 8 つのヒントを紹介します。

1. robots.txt と robots メタ タグを微調整する

無駄なクロール バジェットを抑制する 1 つの方法は、そもそも Google のクローラーが特定のページをクロールしないようにすることです。インデックス付けしたくないページから Googlebot を遠ざけることで、より重要なページに Googlebot の注意を集中させることができます。

robots.txt ファイルは、クロールするページとクロール禁止ページを宣言して、検索クローラーの境界を設定します。 robots.txt ファイルに disallow コマンドを追加すると、それらのページを指すリンクがない限り、クローラーは指定されたサブディレクトリにアクセス、クロール、インデックス付けできなくなります。

ページ レベルでは、robots メタ タグを使用して特定のページを noindex にすることができます。 noindex タグを使用すると、Googlebot はページにアクセスしてリンクをたどることができますが、ページ自体のインデックス作成は行わないよう Googlebot に指示します。このタグは HTML コードの 要素に直接挿入され、次のようになります:

2. コンテンツの整理

サイトに価値の低い URL や重複コンテンツがあると、クロール バジェットの負担になります。ウェブサイトのページを詳しく調べると、クロール バジェットを消費し、より価値の高いコンテンツのクロールとインデックス作成を妨げる可能性のある不要なページを特定するのに役立ちます。

価値の低い URL とは何ですか? Google によると、価値の低い URL は通常、次のカテゴリのいずれかに分類されます:

• 重複コンテンツ
• セッション ID
• ソフト エラー ページ
• ハッキングされたページ
• 低品質およびスパム コンテンツ

重複コンテンツは必ずしも簡単に特定できるわけではありません。あるページのコンテンツの大部分が別のページと同じである場合、たとえコンテンツを追加したり、一部の単語を変更したりしたとしても、Google はそれをかなり類似していると見なします。noindex メタタグと canonical タグを使用して、どのページがインデックスされるべきオリジナルであるかを示します。

価値の低いコンテンツとして登録される可能性のあるコンテンツを更新、削除、または noindex すると、Googlebo に本当に重要なサイト上のページをクロールする機会が増えます。

3. .JavaScript を削除またはレンダリングする

Googlebot は HTML の読み取りに問題はありませんが、JavaScript を読み取ってインデックスする前にレンダリングする必要があります。 そのため、ページ上の JavaScript 要素をクロールしてインデックスを作成するのではなく、Google はページ上の HTML コンテンツをクロールしてからページをレンダリング キューに配置します。 レンダリングに費やす時間とリソースがある場合、JavaScript をレンダリングして「読み取り」、最終的にインデックスを作成します。 この追加手順は時間がかかるだけでなく、クロール バジェットも増加します。

JavaScript はページの読み込み時間にも影響します。 また、サイトの速度とサーバーの負荷はクロール バジェットに影響するため、JavaScript が多すぎると Google がサイトをクロールする頻度が希望よりも低くなる可能性があります。

クロール バジェットを節約するには、JavaScript を含むページを noindex にしたり、JavaScript 要素を削除したり、静的またはサーバー側レンダリングを実装して、Google が理解してクロールしやすくすることができます。JavaScript SEO の詳細については、こちらをご覧ください。

4. 301 リダイレクト チェーンを削除する

301 リダイレクトは、削除したい URL から別の関連 URL にトラフィックとリンク エクイティを転送する、便利で SEO に適した方法です。

ただし、リダイレクトを追跡していない場合は、誤ってリダイレクト チェーンを作成しがちです。これにより、サイトの訪問者の読み込み時間が長くなるだけでなく、クローラーが実際のコンテンツの 1 ページにアクセスするためだけに複数の URL をクロールする可能性もあります。つまり、Google はリダイレクト チェーン内のすべての URL をクロールして宛先ページに到達する必要があり、その過程でクロール バジェットを消費することになります。

これを防ぐには、すべてのリダイレクトが最終的な宛先を指していることを確認してください。可能な限り、リダイレクト チェーンの使用を避けることをお勧めします。それでも間違いは起こるものです。そのため、時間をかけてサイトを手動で確認するか、リダイレクト チェック ツールを使用して 301 リダイレクト チェーンを見つけてクリーンアップしてください。

5. XML サイトマップのベスト プラクティスに従う

サイトマップは、すべての重要なページを検索クローラーと共有します (少なくともそうあるべきです)。検索エンジンは、ページを簡単に見つけられるようにサイトマップをクロールします。Google はページを見つけるためにサイトマップは必要ないと言っていますが、サイトマップを維持しておくことは良い考えです。

適切に機能させるには、サイトマップにはインデックスを作成するページのみを含める必要があります。サイトマップから noindexed またはリダイレクトされた URL を削除する必要があります。これを行う簡単な方法は、動的に生成された XML サイトマップを使用することです。動的に生成されたサイトマップは自動的に更新されるため、301 を実装するたびにサイトマップを編集する必要はありません。

サイトに複数のサブディレクトリがある場合は、各サブディレクトリのサイトマップへのリンクを格納するサイトマップ インデックスを使用します。これにより、Web サイトのアーキテクチャがわかりやすくなり、検索クローラーがたどる簡単なロードマップが提供されます。

6. 内部リンク戦略を作成する

内部リンクは、サイト訪問者の移動を助けるだけでなく、クローラー ボットの移動経路も明確にします。

適切に開発された内部リンク戦略により、クローラーをクロールしたいページに誘導できます。クローラーはリンクを使用して他のページを見つけるため、より深いページをより高いレベルのコンテンツと相互リンクすると、クローラーがより迅速にアクセスできるようになります。同時に、クロール バジェットを消費したくない優先度の低いページからリンクを削除すると、それらのページがキューの最後尾に移動され、重要なページが最初にクロールされるようになります。

7. サイト エラーを修正する

サイト エラーは検索クローラーを混乱させ、貴重なクロール バジェットを無駄にする可能性があります。理想的には、クローラーが実際のページまたはそのページへの単一のリダイレクトに遭遇するようにします。リダイレクト チェーンまたは 404 エラー ページに遭遇すると、クロール バジェットを無駄にしていることになります。

Google Search Console のクロール レポートを使用して、クローラーがエラーに遭遇している場所とエラーの種類を特定します。識別可能なエラーをすべて解決すると、Googlebot のクロール エクスペリエンスがよりスムーズになります。

8. 壊れたリンクを確認する

URL は基本的に 2 つのページをつなぐ橋です。検索エンジン クローラーに新しいページを見つけるための経路を提供しますが、一部の URL はどこにも行きません。壊れたリンクは検索エンジン クローラーにとって行き止まりであり、限られたクロール バジェットの無駄です。

時間をかけて、検索クローラーをデッド ページに送信している可能性のある壊れたリンクがないかサイトを確認し、修正または削除してください。クロール バジェットの無駄を削減するだけでなく、壊れたリンクを削除することで訪問者のブラウジング エクスペリエンスも向上するため、定期的にリンク チェックを行うことをお勧めします。

SEO 監査でクロール バジェットの無駄をなくす

サイトのクロール バジェットや一般的な SEO の最適化に圧倒されたり、どこから始めたらよいか分からなくなったりしていませんか? 一人で取り組む必要はありません。当社の SEO および Web メンテナンス サービスが役立ちます。今すぐ96ish の相談を予約して、SEO および Web 開発の専門家が SEO 監査の実行プロセスをお手伝いします。SEO 監査と、サイトの SEO と技術的パフォーマンスを最適化するための戦略の策定。