LPのA/Bテストの進め方｜検証する要素・必要なデータ・やめどき

A/Bテストは、決めた仮説を比較するために行う

LPのA/Bテストは、対象の訪問者を比較可能な条件で分け、異なる案を見せて成果を比べる方法です。前の週にA、次の週にBを出す前後比較は、曜日や配信対象の変化が混ざるため、同時に割り当てるテストとは分けて考えます。ツールを導入する前に、何を確かめたいかを一文で決めましょう。

たとえば「料金条件が分からず相談をためらっている人がいるため、CTAの前に条件の説明を追加すると、有効な相談が増えるか」という仮説です。ボタンの色を何となく変えるより、観測した課題と変更の理由がつながっています。勝つ案を探すだけでなく、利用者の判断を理解するために使います。

送信できないフォームや切れたリンクは、比較実験を待たずに修正すべき不具合です。明らかな誤記や必要な表示の不足も同様です。A/Bテストに向くのは、複数の妥当な案があり、どちらが目的に合うかをデータで確かめたい場面です。

試す要素は、課題への影響と比較できる範囲で選ぶ

複数箇所をまとめて変えるテストも可能ですが、その場合に分かるのは案全体の差です。見出し、画像、価格、フォームを同時に変えて勝ったとしても、どの要素が効いたかを個別には説明できません。学びたい単位に合わせて変更範囲を決めます。

最初の候補は、アクセスが多い箇所や、問い合わせの迷いと結び付く箇所から選ぶと検証しやすくなります。見られる人が少ない部分を変更すると、全体の成果に現れる差も小さくなりがちです。検証対象へ実際に触れる人がどれだけいるかも確認してください。

設問文だけを比べる場合の、差分の決め方

同じ収納サービスの質問型LPで、最初の問いの答えやすさを比べる架空案を考えます。Aは「設置予定箇所の決定状況をお選びください」、Bは「棚を置く場所は決まっていますか？」。両案とも選択肢は「決まっている／まだ決まっていない」とし、回答の意味をそろえます。Bが優れるという結果ではなく、確かめる仮説です。

固定するもの：選択肢と順番、設問数、回答後の説明、CTA、相談条件。決定済みには寸法、未定には候補場所の確認を同じように案内します。設問と説明を同時に変えるなら、何が効いたかを分けられない一式の比較として計画を変えます。

記録するもの：設問到達、回答完了、次画面到達を診断用に残し、主指標は割当利用者当たりの有効相談とします。回答した人だけを分母にして、途中でやめた人を除かないでください。広告群や端末構成が一方へ偏った場合は、先に割当とログを点検します。この別案の人数・期間・採用条件は、実際の基準率と検出したい差から設計し、後述のCTA実験の数値をそのまま流用しません。

まだ検証する要素を選べない場合は、LP改善の診断手順で計測・流入・本文・フォームの課題を整理してから仮説を決めます。

主指標・診断指標・悪化させたくない指標を決める

主指標は、テストの目的に直結するものを決めます。見積相談が目的なら、有効な相談や送信完了を候補にします。CTAクリックやスクロールは、その前で何が起きたかを見る診断用の指標です。クリックを増やすことだけを成功条件にすると、期待の違う人を多く誘導する可能性があります。

さらに、悪化させたくない指標を置きます。フォームのエラー、表示の遅さ、対象外問い合わせ、キャンセルなど、目的に応じて選びます。すべての指標を勝敗判定に使うのではなく、主指標と補助の役割を分けてください。Microsoft Researchの実験前の設計解説も、仮説と指標を事前に定義する重要性を扱っています。

同じ成果でも、イベント回数、セッション、ユーザー、問い合わせ件数では数え方が異なります。利用者単位で割り当てたのに、繰り返し訪問を独立した別人として扱うなど、割り当てと分析の単位がずれていないかを確認します。採用する統計手法とツールの前提もそろえましょう。

一枚の検証計画を残してから、配信する

下の設計書は、架空の業務用収納サービスで、相談後の流れをCTA直前に説明する変更の例です。AもBも必要な条件は既存本文に掲載済みと仮定し、不足する必須表示をテストで出し分けるものではありません。

ここでの＋0.5ポイントと＋0.2ポイントは、判断の形を示すための架空の事業基準です。一般的な正解ではありません。複数の指標や案から勝者を探索する場合は、多重性を考慮した設計へ変えます。使える流入が少なければ、ページの操作確認や既知の不具合修正を先に行う判断もできます。

記入用HTMLには空欄とこの例の条件を用意しました。自動計算や送信機能はありません。何を試すか決まっていない場合は、LP改善の診断ガイドで原因を分けるところから始めてください。

比較するデザイン案を具体化するには、LPデザインの改善例を参考に、何を変えて何を維持するかを言葉にします。

計測や実装の担当が不足する場合は、検証を始める前に支援範囲を相談できます。 LP改善について相談する

必要人数の計算例：基準2%から3%の差を検出したい場合

以下の数値はすべて教材用の仮定です。独立した利用者を50:50で二群へ割り当て、利用者ごとに1回までの有効相談を数えます。基準率2%、検出したい率3%なので、絶対差は1パーセントポイント、相対差は50%です。「1%改善」と書くと意味が違うため、両方を区別します。

statsmodelsの二群比率の検出力資料では、帰無仮説の分散には合併比率、対立仮説には各群の比率を使います。ここでは同実装の標本数近似に沿って計算します。p̄＝(0.02＋0.03)÷2＝0.025とし、1群の人数 n は次の式です。

自分の条件へ置き換える式は、n ≈ {z(1−α/2)×√[2p̄(1−p̄)]＋z(検出力)×√[pA(1−pA)＋pB(1−pB)]}²÷(pB−pA)²です。p̄は二率の平均、z(q)は標準正規分布のq分位点。率は百分率でなく0〜1の値で入力します。差0ではこの式を使えません。次の計算はα=0.05、検出力=0.80を代入したものです。

n ≈ {1.959964×√(2×0.025×0.975)＋0.841621×√(0.02×0.98＋0.03×0.97)}² ÷ 0.01² ＝ 3,825.15。切り上げて各3,826人、合計7,652人が計画の目安になります。

これは「3,826人なら必ず結論が出る」という必要十分条件ではありません。公式実装の説明どおり、正規近似と、両側検定の遠い側の裾を無視する標本数近似を使っています。基準率のずれ、反復・クラスタ化、計測欠損、多重比較、逐次判定では設計を変えます。低い率や少ない成果で近似が不適切なら、別手法やシミュレーションを検討してください。

この人数が扱うのは「真の差が1ポイントある場合に、差0を棄却できるか」です。最低0.5ポイントを上回る利益や、エラー率が許容幅内であることを十分な精度で確かめる人数ではありません。採用判断にその条件も必要なら、それぞれに合わせた人数を別途見積もり、大きい方を検討します。

期間は、必要件数と事業の周期から決める

架空の流入予測を、実験対象となる新規の利用者400人/日と置きます。7,652人÷400人/日＝約19.13日、人数だけなら20日です。曜日を一通り含む複数週と予測の余裕を考慮し、この例では開始前に募集期間28日＋最後の利用者の成果確定待ち7日、合計35日を固定します。400人はセッションや総アクセス数ではありません。

28日間に割り当てた対象者をすべて集計し、途中で必要人数を超えても、有意差が出ても、勝者判定のためには早く終えません。28日目で予測より人数が少なければ、その不足と信頼区間を報告します。結果を見て都合よく延長したり、後から検出差を変えたりせず、追加調査は新しい計画にします。

この35日は架空条件から選んだ計画で、他案件の標準期間ではありません。帰属期間が長い商品なら成熟待ちも長くなります。Microsoft Researchの実験中の解説は、異常監視と、途中の有意差の扱いを区別しています。途中判定をする設計なら、最初から対応した逐次手法を使います。

開始直後は、勝敗より割り当てと計測の品質を見る

テスト開始時には、AとBの表示、リンク、フォーム、成果イベントを両方確認します。片方だけイベントが二重に送られる、別のページへ転送される、重い画像で表示が遅れる、といった差がないかを見ます。意図した変更以外の技術的な違いは、比較を歪める可能性があります。

想定した割り当て比率と実際に記録された人数に不自然な違いがある場合は、先に原因を調べます。Microsoft ResearchのSample Ratio Mismatchの解説は、この不整合を結果評価前に確認する重要性を示しています。比率を目で眺めるだけでなく、サンプル数も踏まえた適切なチェックが必要です。

同じ人が再訪したときに毎回違う案を見るか、広告別に片方へ偏っていないか、社内アクセスやテストが混ざっていないかも確認します。問題があるデータから勝者を選ばず、設定を直して再実施するか、影響範囲を専門担当者と確認してください。

やめどきは、異常時・判定時・継続不能時で分ける

予定どおり終わった場合も、結果を「A勝ち」「B勝ち」だけにしません。実務上意味のある差か、悪化させたくない指標に問題がないかを確認します。統計的に差を検出できないことは、二案が同じと証明できたことを意味しません。情報不足をそのまま残す判断も必要です。

後から端末や年代などで細かく分け、都合のよい差だけを採用すると、偶然を拾いやすくなります。事前に決めた分析と、結果を見て思いついた探索的な分析を区別し、新しい仮説は次の検証につなげましょう。

架空の結果を読む：主指標が良くても全面採用を保留する例

ここからは実験を実施していない架空の結果です。計画どおり28日募集し、全員の7日間の成果を確定、割当・ログの問題は見つからなかったという設定です。計測欠損がないことまで実際に確認したという意味ではありません。人数は予測より少ない計8,000人ですが、両群とも近似計画の3,826人を超えた設定です。

今回の結論は、Bの全面採用を保留してAを維持することです。主指標には差0に対する統計的な証拠がありますが、差が最低＋0.5ポイントあることは区間の下限から確認できません。さらに、エラー増加の上限は許容した＋0.2ポイントを超えます。「エラーに有意差がなかった」として通過させず、不確実性が残ると記録します。

次はBでエラーが増えた理由を、案ごとの端末・表示・ログから調べます。再現する不具合があれば修正し、再検証するなら採用条件とガードレールの精度から人数を設計し直します。同じ結果を何度も区切り直し、都合のよい集計だけで採用へ変えないでください。

この95%信頼区間は、Bがこの範囲で改善する確率が95%という意味ではありません。同じ手順で標本を取り区間を作ることを繰り返したときの被覆率に関するものです。p値も、Bが優れている確率や、効果が再現する保証を表しません。計算方法は二群比率の区間資料と検定資料に対応させています。

開始設定では、対象・割当・成果の定義を順に入れる

以下は特定製品のボタン名ではなく、実装担当とテストツールの設定へ写す順番です。実際にアカウントを操作した記録ではありません。利用するツールで対応できない項目があれば、計測や実装を整えてから開始します。

1. 対象条件を保存する。指定広告群から当該LPへ初めて来る利用者を対象にし、社内・テスト・既知のボットの除外は割当前の同じ規則で適用する。
2. AとBの版を固定する。Aを現状、Bを下の説明追加案とし、原稿・画面・リンク先を保存。価格、広告、フォーム項目は同じにする。
3. 利用者を50:50へ無作為に割り当てる。再訪も同じ案を維持。クロスデバイスで同じ人を識別できない場合は、その限界と実際の分析単位を記録する。
4. 実験ID・案ID・割当時刻を計測へ接続する。成果は割当から7日以内の有効相談。重複・営業連絡・対象外の除外条件を先に定義し、A/Bを知らない担当者が同じ基準で確定する。割り当てたがCTAを押さなかった人も分母から外さない。
5. 両案をテスト表示する。リンク、フォーム、完了画面、受信、重複イベント、再訪時の案保持、表示のちらつきを確認。氏名や自由記述を解析へ送らず、必要な識別と集計だけを扱う。
6. 停止日と復旧担当を保存して開始する。28日募集・7日待ちの予定、異常時のAへの復帰手順を登録。開始後は予定比率と実際の割当数を照合する。

編集機能だけでなく、安定した割当、成果連携、割当比率の検査、データ出力、採用する統計法に対応するかでツールを選びます。単に「自動で勝者を判定」と書かれているだけでは、ここまでの条件がそろうとは限りません。

記入用ファイル

記入例と空欄ファイルをダウンロードして、自社用に書き換えてください。HTMLはブラウザー等、CSVは表計算ソフトで使えます。

• LP A/Bテスト計画の記入用HTML

参考情報・出典

• Microsoft Research：Patterns of Trustworthy Experimentation: Pre-Experiment Stage仮説・指標・実験前の品質確認の設計／確認：2026-10-04
• Microsoft Research：Patterns of Trustworthy Experimentation: During-Experiment Stage途中監視と早期のぞき見・多重検定の扱いを統計手法へ反映する必要性／確認：2026-10-04
• Microsoft Research：Diagnosing Sample Ratio Mismatch in A/B Testing想定した割り当て比率と観測サンプル比率の不整合を結果評価前に確認する重要性／確認：2026-10-04
• Sunday Park：サービス相談先の公式サービス案内／確認：2026-10-04
• statsmodels：二群比率の検出力合併分散の帰無仮説と非合併分散の対立仮説による計画／確認：2026-10-04
• statsmodels：割合の公式実装等割当の標本数近似とNewcombe区間の実装を照合／確認：2026-10-04
• statsmodels：二群比率の信頼区間独立二項標本のNewcombe法の指定／確認：2026-10-04
• statsmodels：二群比率の検定二群差の帰無仮説、両側検定と手法の指定／確認：2026-10-04