A/B テスト 統計的有意性 計算無料・登録不要

A/B テスト 統計的有意性 計算が解決する課題

LP 改善 / 広告クリエイティブ / メール件名の A/B テストで「B が A より 0.5% 改善した！」と喜んでも、それがノイズか実際の差かは統計検定が必要。本ツールは訪問数 + CV 数を入れるだけで CVR・改善率・p-value・信頼区間・有意性バッジを瞬時に算出します。

統計的有意性の判断基準

【🟢 p < 0.01（99% 信頼）】本番反映の根拠として十分。新薬・医療系で求められる厳格基準。 【🟢 p < 0.05（95% 信頼）】SaaS / EC で一般的な合格ライン。マーケ業界標準。 【🟡 p < 0.10（90% 信頼）】示唆あり。追加サンプル収集を推奨。 【🔴 p ≥ 0.10】有意差なし。差がノイズの可能性大。継続テストかパターン変更。

こんなシーンで使えます

【1. LP ヘッドライン A/B】2 パターンの LP に同量トラフィックを送って 1 週間後判定。

【2. 広告クリエイティブ A/B】Meta / Google 広告で 2 クリエイティブ並走 → どちらが優位か検定。

【3. メール件名 A/B】メルマガ 2 件名で開封率比較 → 統計的に有意なら勝者展開。

【4. ボタン文言テスト】「無料で試す」vs「30 秒で始める」の CVR 差検定。

【5. プライシング A/B】¥9,800 vs ¥7,980 の CVR + LTV 差検定（注: 価格差は中長期 LTV 影響大）。

正しい A/B テストの進め方

1. 仮説立て: 「B の方が高い CVR を出す」と事前に明文化。 2. サンプルサイズ計算: 各パターン最低 1,000 訪問。CV 10 件以下では z-test 精度低下（Fisher 検定推奨）。 3. 期間: 最低 7 日（曜日変動考慮）、推奨 14 日（季節要因含む）。 4. 1 仮説 1 テスト: 複数テスト同時実施は影響混在。 5. 早めの停止禁止: 「目視で B が良さそう」だけで早期停止すると統計偏向。事前計画期間は守る。 6. 結果の解釈: p-value < 0.05 でも「実用的に意味ある差」かは別。lift 1% でも年間 LTV ベースで判断。

よくある失敗と注意点

1つ目: サンプル少 → 各 100 訪問で「30% 差」が出てもノイズの可能性大。最低 1,000 訪問 / 各パターン。

2つ目: 早期停止 → 開始 3 日で「もう勝者見えた」と止めると統計偏向。事前計画した期間 / サンプル数まで継続。

3つ目: 多重比較 → 5 つの A/B/C/D/E パターンで p < 0.05 を達成しても 23% は偶然。多重比較補正（Bonferroni 等）必要。

4つ目: SRM（Sample Ratio Mismatch） → 想定 50%/50% 分配のはずが 40%/60% になっていたら計測バグの可能性。比率も別途チェック。

5つ目: 二項分布の前提崩壊 → CV 1 ユーザー 1 回前提だが、同じユーザーが複数回 CV する仕様だと正規近似が崩れる。ユニーク CV で計算。