実務・マーケティング

A/Bテストの読み方の練習問題

2つの案の CVR の差と、その差が偶然の範囲かどうか（有意差）を判断できる。

この単元を使う職種:

考え方

CVR 2.0% → 2.5% は「0.5ポイント改善」です。「25%改善」と言うと、元の CVR に対する伸び率の意味になります。

件数が少ないと、偶然でも差が出ます。差を標準誤差（偶然のばらつきの目安）で割った z が 1.96 以上なら、偶然とは考えにくいと判断します。

CVR の差（ポイント）= B案の CVR − A案の CVR

z = CVR の差 ÷ 標準誤差（標準誤差 = $\sqrt{p(100-p)\left(\frac{1}{n_A}+\frac{1}{n_B}\right)}$ 、p は合算した CVR［%］）

|z| ≥ 1.96 なら、5% 水準で有意差あり

練習問題でこの間違い方をしたときは、その場でお伝えします。

差の見た目だけで有意差を判断するA/B テストで、CVR の差の大きさだけを見て判断し、サンプル数で決まる標準誤差（偶然のばらつき）と比べていない。差が大きく見えても、件数が少なければ偶然で起こることがあります。差 ÷ 標準誤差で z 値を出し、1.96 と比べて判断しましょう。

見る

申込フォームの A/B テストをしました。A案（今のフォーム）は訪問2,000人で申込64件、B案（入力項目を減らしたフォーム）は訪問2,500人で申込85件でした。

問いB案の CVR は、A案より何ポイント高いですか？（ポイントの数字だけで答えてください）

答えCVR の差は 0.2ポイント

一緒にやる

1つずつ答えを確かめながら進みます。間違えても大丈夫です。

申込フォームの A/B テストをしました。A案（今のフォーム）は訪問10,000人で申込250件、B案（入力項目を減らしたフォーム）は訪問4,000人で申込120件でした。

B案の CVR は、A案より何ポイント高いですか？（ポイントの数字だけで答えてください）

小さな問いに分けて、1つずつ一緒に進めます。

ステップ 1 / 3

A案の CVR は何%？

自分でやる

数字は毎回変わります。2〜3問続けて解けたら、次の単元や元のレッスンに進みましょう。

問題を準備しています…

学び直しマップ

分からないところがあったら前提まで戻り、分かったら使う先へ進みましょう。

この単元を前提にする単元は、まだマップにありません。学び直しマップでほかの単元を探せます。