「タイトルを変えたらクリックが増えた」という報告は、本当に施策の効果なのでしょうか。Search Engine Journalに、ページを対照群と変更群に分けて比べる「SEOスプリットテスト」の進め方を詳しく解説した記事が掲載されました。施策の効果を社内で説明したいSEO担当者にとって、考え方の土台になる内容です。
Table of Contents
「施策前後のグラフ」では因果関係を示せない
SEOの成果報告でよく使われるのが、施策日の前後で流入を比べるグラフです。しかし記事は、このやり方では原因を特定できないと指摘します。季節要因、コアアップデート、競合の動き、ブランド広告、計測の不具合など、流入を動かす要因はほかにも多くあるためです。さらに今は、AI OverviewsやAI Modeの表示によって、順位が変わらなくてもクリック率が変わることがあります。
そこで必要になるのが「反事実（カウンターファクチュアル）」、つまり「施策をしなかった場合、流入はどうなっていたか」の推定です。問うべきは「流入が増えたか」ではなく、「施策をしなかった場合より多く増えたか」だという整理です。
CROのA/Bテストとは何が違うのか
CRO（コンバージョン率最適化）のA/Bテストは、ユーザーを2つのパターンに振り分けます。しかしGoogleは1つのURLにつき1つのバージョンしか評価しないため、ユーザーを分けても検索順位への影響は分かりません。また、Googlebotとユーザーに違う内容を見せるのはクローキングにあたり、テスト目的でもスパムポリシー違反になるとGoogleは説明しています。
SEOスプリットテストでは、人ではなくページを分けます。同じテンプレートの商品ページ・カテゴリページ・店舗ページなどを2グループに分け、変更群だけに施策を適用し、対照群はそのまま残します。
テストの成否を分ける4つの要素
- グループの均質化：同じクエリで競合するページは同じグループに入れる（変更群が対照群のクリックを奪わないように）。流入規模やカテゴリをそろえた上で、ランダムに振り分ける。
- 同時期の実施：両グループを同じ期間で走らせる。それでもアップデートの影響がカテゴリごとに偏ることはあるため、均質化とチェックが重要になる。
- 予測モデル：対照群の動きから「変更群が施策なしならどうなったか」を予測し、実績との差を効果とみなす。代表例はGoogleがオープンソースで公開しているCausalImpact。
- 事前チェック：過去の日付を仮の開始日にしてモデルを試し、何も変えていない期間で「効果あり」と出てしまうなら、そのモデルは信用しない。
実施手順：まず1枚の「テスト計画書」を作る
記事が最も重視しているのが、開始前に計画書を書いて共有することです。主な項目は次のとおりです。
- 仮説：何をなぜ変えるのか
- 主要指標：基本はテスト対象ページへの非ブランドのオーガニッククリック。Search Consoleでクエリ絞り込みをすると一部が匿名化されるため、ページ単位の総クリックも併せて追う
- ガードレール指標：CV率など、一定以上下がってはいけない指標
- 意味のある最小の改善幅：その幅を期間内に検出できるか、過去データで確認する。無理ならまだ実施しない
- 分析日：曜日の偏りが出ないよう週単位で設定
- 判断ルール：どの結果なら全体展開・差し戻し・判断保留とするか
その後、ページの選定と振り分け、事前チェック、同時開始、日々の実装監視を行い、判断は予定した分析日に行います。負けや判断保留の結果も含めて報告するのが原則です。
例：タイトル・説明文テンプレートの変更
記事では、説明用の例（数値はあくまで例示）として、商品ページのタイトルとメタディスクリプションを「ブランド名から始める」形から「検索語から始める」形に変えるテストを紹介しています。400ページを約200ずつに分け、6週間で分析した結果、変更群の非ブランドクリックは予測を14.2%上回り、95%区間は8〜19%でした。区間は27日目に初めてゼロを上回りましたが、予定どおり6週間まで続け、効果が維持されたことを確認してから全体展開を決めています。
ここでのポイントは、「良さそうに見えた時点で止めない」ことです。早く止めるほど、偶然の結果を効果と誤認する可能性が高まります。
小規模サイトや注意したい落とし穴
SearchPilotの目安では、テスト対象のセクションに1日あたり約1,000のオーガニック訪問がないと、結論が出にくいとされています。規模が足りない場合は、地域ごとに分ける方法や、変更しない類似ページを「ホールドアウト」として残した前後比較なども選択肢です。前後比較では、Search Consoleのブランドクエリフィルタや、施策日の注釈機能を活用するとよいとしています。
よくある落とし穴としては、次の点が挙げられています。
- JavaScriptで変更を入れた場合、URL検査ツールでレンダリング後のHTMLに反映されているか、再クロールされたかを確認していない
- Googleがタイトルを書き換えるため、テストしたタイトルがそのまま表示されていない
- データを見てから指標や合格ラインを決める
- 成功したテストだけを報告する、効果の予測を楽観的に見積もる
なお、SearchPilotが2024年に過去のテストを最新モデルで再分析したところ、95%の信頼度で効果ありとなったのは29%だったと紹介されています。多くの施策は「有意な勝ち」にならないという前提で臨むのが現実的です。順位やスコアのデータを読むときの注意点も、あわせて押さえておきたいところです。
AI検索時代の効果測定
AI OverviewsやAI Modeのデータは、Search Consoleの全体の検索パフォーマンスに含まれるため、反事実の推定は難しくなっています。記事によれば、Search Consoleの生成AIに関するパフォーマンスレポートは8月31日に全サイトへ展開され、ページごとのAI Overviews・AI Modeでの表示を確認できます（表示が少ないサイトでは表示されません）。クリックデータはまだないため補助的な指標として扱い、変更群と対照群でAI上の表示回数を比べるのが一案です。クリックは増えたがAIでの露出が減った（またはその逆）という場合は、展開前に原因を調べることが推奨されています。
まとめ
SEOスプリットテストは、ページを対照群と変更群に分け、「施策をしなかった場合」と比べることで、施策の効果を因果関係として示す方法です。成否を分けるのは、ツールよりも、開始前の計画書、均質なグループ分け、事前に決めた判断ルール、そして負けも含めた正直な報告です。テンプレート単位のページが多いサイトなら、まずはCMSで一部のページだけを変更するところから始められます。施策の効果を「たぶん効いた」から「このくらい効いた」へ変えるための仕組みとして、検討してみてはいかがでしょうか。
