あるECサイトが、購入ボタンのデザインAとBを無作為に振り分けた利用者に表示するA/Bテストを行った。帰無仮説を「AとBの購入率に差はない」、対立仮説を「AとBの購入率に差がある」として検定したところ、p値は0.03であった。有意水準は事前に5%と定めていた。この結果の解釈として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：A/Bテストにおけるp値の解釈
ポイント
p値は、帰無仮説が正しいと仮定したときに観測された以上に極端な結果が得られる確率です。仮説が正しい確率ではありません。
選択肢ごとの解説
- A
適切
p値0.03は有意水準0.05より小さいので、帰無仮説を棄却して対立仮説を採択します。差がないと仮定すると、観測された差以上に大きな差が偶然生じる確率は3%と小さい、という判断です。
- B
不適切 正解
p値は、帰無仮説が正しいと仮定したときに、観測された以上に極端な結果が得られる確率です。仮説そのものが正しい確率ではありません。よくある誤解で、米国統計協会の声明でも注意されています。
- C
適切
p値0.03は有意水準0.01より大きいので、1%水準では帰無仮説を棄却できません。結論が有意水準に左右されるため、有意水準はデータを見る前に決めておきます。
- D
適切
p値や有意かどうかは、差の大きさや実務上の重要さを表しません。利用者数が多いと、ごく小さな差でも有意になります。差の大きさや費用対効果もあわせて判断します。
補足
有意水準5%で検定すると、帰無仮説が正しいのに誤って棄却する誤り（第1種の過誤）の確率を5%に抑えられます。逆に、対立仮説が正しいのに帰無仮説を棄却できない誤りを第2種の過誤といいます。データの数が同じなら、有意水準を厳しくするほど第1種の過誤は減りますが、第2種の過誤は増えやすくなります。
試験での狙われ方
p値を「帰無仮説が正しい確率」と読み替える誤りや、有意水準を変えたときの結論の変化、有意差と差の大きさの区別を問う形が考えられます。