用語解説
クロールバジェットとは、Googlebotが一定期間内に特定のサイトをクロールできるページ数の上限です。サイトの規模・更新頻度・サーバーへの負荷許容量などを元にGoogleが自動で決定します。
数百ページ程度の小規模サイトでは通常問題になりませんが、数千〜数万ページを持つ大規模サイトでは、クロールバジェットを無駄なページに消費してしまうと、重要な新コンテンツがインデックスされるまでに時間がかかる問題が発生します。
クロールバジェットを無駄にする主な原因
- URLパラメータによる重複ページ（?sort=price&page=2等）
- セッションIDがURLに含まれるページ
- 薄いコンテンツページ・自動生成のタグページ
- 適切にブロックされていないPDFや管理画面URL
どんな場面で活用するか
大規模サイトのクロール効率化
URLパラメータによる重複ページをnoindexまたはcanonicalで整理し、robots.txtで不要なURLのクロールをブロックします。クロールバジェットをコンテンツ価値の高いページに集中させることで、インデックス速度が向上します。
よくある誤解
❌ 誤解1：全サイトでクロールバジェット管理が必要
数百ページ以下の中小サイトでは通常問題になりません。新しいコンテンツがなかなかインデックスされない、または大量のページを管理している場合に初めて意識すべき概念です。
❌ 誤解2：robots.txtでブロックすれば評価が上がる
robots.txtでブロックしたページはクロールされないため評価されませんが、インデックス済みページへの内部リンクが切れることで他のページの評価に影響することがあります。
判断のヒント
以下に当てはまる場合はクロールバジェットの最適化を検討してください。
- サイトのページ数が1000ページを超えている
- 新しい記事を投稿してもインデックスされるまでに日数がかかる
- URLパラメータによって大量の重複ページが生成されている
