Google検索セントラルのブログに2026年11月11日、CDN(コンテンツ配信ネットワーク)へ移行するときのクロールの注意点をまとめた記事が掲載されました。執筆はGoogleのCherry Prommawin氏とGary Illyes氏です。CDNを入れればサイトは速くなりますが、切り替えた直後は「クローラーのアクセスが増えてオリジンサーバーが苦しくなる」「慌ててボット対策を強めるとGooglebotまで締め出してしまう」といった落とし穴がある、という内容です。
Table of Contents
CDNとは何か、なぜ移行直後が問題になるのか
CDNは、画像やHTMLなどの配信を世界各地の「エッジサーバー」に肩代わりさせる仕組みです。利用者に近い場所から返すので表示が速くなり、本来のサーバー(オリジン)への負荷も減ります。
ただしGoogleによると、この恩恵が出るのは「キャッシュがたまってから」です。サイトをCDNの裏に置いた直後に、クローラーのアクセスが急に増えたと感じる運営者は少なくないといいます。エッジのキャッシュが空のうちは、人のアクセスもクローラーのアクセスも、結局オリジンまで届いてしまうためです。
速くなるほどクロールは増える:「クロール容量」の仕組み
Googleのクロールの仕組みは、サイトのサーバーの状態を見ながら速度を調整しています。応答が遅くなればクローラーは控えめになり、サーバーを圧迫しないようにします。逆に応答が速く安定していれば「健全なサーバー」と判断され、クロールしたいページがある限り、クロール容量(一度にどれだけ取りに来てよいかの上限)は徐々に引き上げられます。
DNSの向き先が高速なCDNのエッジに変わると、接続や応答の時間は大きく縮みます。Googleの説明では、クロールのシステムはこれを「ハードウェアを大幅に増強した」のと同じように受け取り、リクエストの頻度を上げていきます。つまり、CDN導入は長い目で見ればクロールにプラスですが、移行直後には「速くなったからもっと取りに来る」という動きが先に起きるわけです。
人とクローラーで違う「キャッシュのたまり方」
新しいCDNのキャッシュは空(コールドキャッシュ)の状態から始まります。あるURLへの最初のリクエストはキャッシュミスとなり、エッジがオリジンから取得して保存し、2回目以降はエッジから返されます。
ここで差が出るのが、人とクローラーの行動の違いです。
- 人のアクセス:トップページや人気記事など、一部のページに集中するので、そのページのキャッシュはすぐに温まる。
- クローラーのアクセス:サイト内の幅広いURLを順に巡回するため、初回のクロールでは多くのURLがキャッシュミスになる。
「エッジの応答が速いのでクロールが加速する」「でもキャッシュにないURLは全部オリジンに流れる」という2つが重なり、移行直後はオリジンが実質的なボトルネックになります。なおGoogleは、クローラーが一気に増えるわけではなく、多くのCDNには接続を平準化する機能もあると補足しています。それでも、キャッシュが温まるまではCDNがオリジンを守り切れていない、という点は押さえておく必要があります。
一番の危険は「全ボットをブロック」
オリジンのログでアクセスの急増を見た管理者が、CDNの管理画面でボット対策を一律に強めてしまうケースがあります。Googleはここに注意を促しています。
- 例外を設けない一律のボット対策は、残したいクローラーまでブロックしてしまう。
- CDNやWAF(Webアプリケーションファイアウォール)がCAPTCHAなどのチャレンジを返すと、Googleのクローラーはそれを通過できない。
- エラーページやチャレンジページばかり返されると、クローラーはサイトを「制限されている」「壊れている」と判断する。この状態が続くと、クロールが控えられ、ページが検索結果(ショッピングの掲載を含む)から外れることもある。
表示速度の改善のつもりで始めたCDN移行が、設定ひとつで検索流入の減少につながりうる、ということです。
Googleが勧める3つの対策
- ボットを止めるなら「検証済みボット」は許可する
主要なCDNやWAFの多くには、既知の・検証済みのボットを通す設定やマネージドルールがあります。Googleのクローラーは、Googleが公開しているIPアドレス範囲で見分けられます。すべての自動アクセスを止めるのではなく、robots.txtや個別のルールで、止めたいボットだけを対象にする方法も挙げられています。 - 本番の切り替え前にキャッシュを温めておく
アクセスの多いページ、今後のセールやキャンペーンのページ、よくクロールされるURLを、CDN経由でプログラム的に取得しておきます。一度に叩くのではなく、ペースを抑えて行うのがポイントです。 - それでも苦しいときは429・503で一時的にブレーキ
キャッシュが温まるまでの間にオリジンの負荷が厳しい場合は、サーバーやCDNのレート制限で429(Too Many Requests)や503(Service Unavailable)を返す方法があります。期間は「数時間、長くても1〜2日」が目安とされています。逆に、403で壁を作ったり、チャレンジページを返したりするのは避けるべきだとしています。
実務での確認チェックリスト
CDN移行やCDNの乗り換えを予定しているサイトでは、次の点を事前に確認しておくと安心です。
- 担当者の確認:CDNやファイアウォールの設定を誰が触るのかを把握し、SEO担当者も設定変更の連絡を受けられるようにしておく。
- ボット対策の設定:CDN管理画面の一律のボット対策機能を有効にする前に、検証済みボットの許可が入っているかを確認する。
- キャッシュ温めの対象リスト:アクセス解析で上位のページ、Search Consoleのクロールの統計情報で頻繁にクロールされているURL、近く公開予定の特集ページなどを洗い出す。
- 移行後の監視:オリジンのログでGooglebotのアクセスとステータスコードを確認し、403やチャレンジページが返っていないかを見る。Search Consoleのクロールの統計情報で、応答時間やエラーの推移もチェックする。
- 429・503は短期間だけ:使う場合は期間を決めて、数時間〜最大1〜2日で解除する運用にする。
特に、セキュリティ担当や制作会社がCDNを管理していて、SEO担当者が設定を把握していないケースは要注意です。「アクセスが急増したのでボットを止めた」という善意の対応が、検索からの露出を失う原因になりえます。
まとめ
Googleの解説のポイントは、「CDNで速くなるほどクロールは増え、キャッシュが空のうちはその負担がオリジンに来る」という一点です。移行直後のアクセス増は異常ではなく、仕組みどおりの動きだと理解しておけば、慌てて全ボットを遮断するような対応は避けられます。検証済みボットの許可、切り替え前のキャッシュ温め、必要なときだけ短期間の429・503。この3つを移行計画に組み込み、CDNの設定を管理するチームとSEO担当者が事前に話し合っておくことが、表示速度の改善と検索流入を両立させる近道です。





