【2025年版】【図解】ビルドトラップ#4｜A/Bテスト過多を“前後比較＋中央値”に戻す

1. なぜA/B過多になるか：速度と学習が逆転している

（導入）A/Bは強力ですが、前提を満たさないと“結論先送り装置”になります。母集団不足／検定力不足／多重比較／起点終点のズレ——。結果は出ないのに時間だけ進む。価値の線に戻し、まずは前後比較で速度を取り返します。

要点：①Aha/TTV/D1に結び直す ②中央値で裾の改善を捉える ③代理指標は脚注に逃がす ④new中心で評価 ⑤2週間で判定。

【A/B過多セルフチェック（コピペ可）】
- 判定指標がPV/滞在でAhaが無い
- TTVが平均で、裾の悪化を拾えていない
- 検定力不足（母数/期間）が続いている
- 3本以上の多重比較で結論が揺れている
→ 1つでも該当なら前後比較に切替

具体例：オンボ文言の細分化テストをやめ、説明2行化の前後比較に切替→TTV中央値-18%で即採用。まとめ：速度を取り戻す。

2. 前後比較の設計：対象new／前後2週／中央値の3点固定

（導入）前後比較は“仕様”で勝負が決まります。対象はnew、判定は前後2週間、統計値は中央値。これだけで外れ値に強く、学習速度が上がります。

要点：①起点＝intent_shown ②終点＝aha_completed ③再開TTVを副指標 ④差分は相対（+pt/-%） ⑤撤退条件を先に書く。

【計測テンプレ（貼替OK）】
Aha：aha_completed（%）/対象=new/前後2週
TTV：median(intent_shown→aha_completed)（秒）
D1 ：day1_active/new_users（%）副=再開TTV（秒）
判定：金曜18時/相対差分のみ

具体例：導線1本化の前後で、TTV p90が短縮→翌週Aha+6pt。まとめ：仕様の固定が勝ち筋。

3. “いつA/Bが要るか”の基準：切らない条件を明文化

（導入）A/Bはゼロにはしません。意思決定が高価で、効果が拮抗し、母数と期間が十分な場合に限定します。基準を紙に出しておくと、会議が揺れません。

要点：①切替コスト大（インフラ/法務/収益）②差分が僅少で前後比較が不十分 ③1週間で有意に届く母数あり ④偽陽性リスク管理。

【A/B実施基準カード（コピペ可）】
- 高コストの恒久変更か？
- 効果が拮抗（±3pt以内）しているか？
- 1週間で十分な検定力があるか？
- 代替の前後比較では足りないか？

具体例：価格改定はA/B対象、オンボ文言は前後で十分。まとめ：A/Bは“例外の道具”。

4. PRD断片：10分レビューで決め切る構成

（導入）紙が重いと元に戻ります。PRDは一枚化し、前後比較の仕様と撤退基準を先に置きます。レビューは10分読み上げ→1SP×2に割付→合意ログ一行で終了。

要点：Goal=“newが◯◯を30秒で完了”／Metrics=Aha+◯pt/TTV中央値-◯%/D1+◯pt／撤退=未達→施策B／変更窓=UI細部24h。

【PRD一枚：Metrics断片（貼替OK）】
Goal：newが◯◯を30秒で完了（Aha）
Metrics：Aha +◯pt／TTV中央値 -◯%／D1 +◯pt
撤退：未達→施策Bへ切替（合意ログ記録）
変更窓：UI細部は24hの軽微修正を許容

具体例：当日「説明2行/導線1本」を着手、翌週判定。まとめ：紙が軽いと速い。

5. 運用台本：前後比較→横展開までの7手順

（導入）やり切って終わりにしないために、判定→横展開までを台本で固定します。Slack直貼り・回遊禁止・毎金曜18時の判定がポイント。

要点：①前後1枚×3を直貼り ②論点は3つまで ③1SP×2で当日着手 ④判定は中央値 ⑤成功は横展開、未達は撤退。

【7手順（丸読みOK）】
1) 仮説：説明2行/導線1本
2) 仕様：対象new/前後2週/中央値
3) 着手：1SP×2 当日
4) 判定：金曜18時（相対差分）
5) 合意：Decision/期限/変更窓を一行で
6) 横展：成功=類似面へテンプレ展開
7) 撤退：未達=施策Bへ即切替

具体例：成功面をテンプレ化し、翌月OKRに昇格。まとめ：台本で速度を守る。