結論：A/Bテストは「Aha％→TTV→D1」で判定し、撤退条件を先に決めてから走らせると最短で学べます。
「A/Bは回しているのに、結論が出ない」「勝っても事業が伸びない」――よく聞く悩みです。失敗の根は、判定指標が結果（売上・CVR）に偏りすぎていること。結果は遅れて動くため、議論が伸び、学習速度が落ちます。実務では、Aha％（価値の初回成立）・TTV（Time to Value、p50/p95）・D1（翌日活性）の先行指標で“速い学び”を得て、勝ちパターンだけを横展開します。
実験の目的を一文で固定する
最初に“なぜ試すのか”を一文で固定します。ここが曖昧だと、途中で判定がぶれます。
- 目的：Aha％ +Xpt / TTV p95 −Y秒 / D1 +Zpt のいずれか。
- 施策：フォーム削減／導線の着地変更（“続きカード”へ）など。
- 対象：新規ユーザー／特定セグメント（例：初回流入チャネル）。
コピペ素材（目的の一文）
「本実験は、Aha％ +3pt を狙い、初回フォーム−2項目が有効かを検証する。」
まとめ：目的＝指標×幅×手段×対象のセットで書く。
判定指標は“先行×安全”の2軸で
勝ち負けだけでなく“悪化しないか”を見ます。p95（最悪体験代表）の監視を忘れると事故ります。
- 主判定：Aha％ / TTV p50 / D1 のいずれか。
- 安全弁：TTV p95（悪化なら撤退）／エラー率（しきい値設定）。
- 副指標：CVRや売上は参考。決裁は先行で。
Aha→TTV→翌日活性の順で見ると意思決定が速くなります。詳しくはKPI設計と運用ガイドへ。
コピペ素材（ダッシュボード順）
1) Aha％ → 2) TTV p50 → 3) TTV p95 → 4) D1 → 5) CVR
まとめ：まず“速さと安全”を判定、その後に結果指標を見る。
サンプルサイズと期間：最短で意思決定するコツ
厳密主義は現場を止めます。誤差とスピードのバランスを取りましょう。
- 母数：主判定指標で最短「週次で意思決定」。母集団が薄い場合は2週。
- 停止規準：しきい値判定（例：Aha％ +2pt以上で採用 / p95 +5秒以上で撤退）。
- 逐次観測：毎日見ても良いが、判定は週1回に固定。
コピペ素材（停止規準テンプレ）
採用：Aha％ +2pt 以上
撤退：TTV p95 +5秒 以上 / エラー率 +0.3pt 以上
まとめ：統計有意性だけで迷わず、運用上のしきい値を先に決める。
着地の設計：行き先が9割
テストの勝敗は“着地”で決まります。通知やバナーは「お知らせ」ではなく“価値体験の続き”に落としてください。
- 着地：Aha直前／“続きカード”固定の画面。
- 文言：所要時間と次の一手（例：「残り3分、続きから再開」）。
- 測定：着地→Aha→D1の分解をログで固定。
コピペ素材（リンク方針）
「全ての実験導線は“価値体験の続き”にディープリンクする」
まとめ：お知らせ一覧着地はNG。Aha直行でTTVを短縮。
実験シート：会議で読み上げられる粒度に
“迷うセル”は最初から選択式に。スピードが命です。
- 列：実験ID / 目的（Aha/TTV/D1） / 幅（+pt/−秒） / 対象 / 着地 / 期間 / 採用しきい値 / 撤退条件 / オーナー / 判定。
- 例：#034「初回フォーム−2項目」目的=Aha％ +3pt、期間=7日、撤退=TTV p95 +5秒。
コピペ素材（Slack共有文）
「#034 実施中：目的=Aha％ +3pt、撤退=TTV p95 +5秒。着地=続きカード。判定=来週火曜。」
まとめ：誰が見ても“何で決めるか”が一発で分かる。
結果の扱い：YES/NO/MIXを次アクションに
結果は3値で十分。議論を早く終わらせ、次の学びに進みます。
- YES：横展開。影響範囲を広げる（セグメント→全体）。
- NO：撤退。ログ学びをテンプレに昇華。
- MIX：セグメント分割。勝ちユーザー条件を仮説化。
コピペ素材（サマリ雛形）
目的／結果（YES/NO/MIX）／学び／次の手
まとめ：学びを“プロセス”に埋め込むと再現性が上がる。
関連記事
FAQ
Q1：売上やCVRで判定してはダメ？
A：最終確認には有効ですが、学習が遅れます。まずAha％・TTV・D1で意思決定し、結果は後追いで確認してください。
Q2：サンプルが足りないときは？
A：対象セグメントを広げるか、指標をAha％/TTVに寄せて“週次判定”に切り替えます。厳密主義で止めない。
Q3：悪化したのに議論が続く…
A：撤退条件を先に宣言しておきましょう。例：「TTV p95 +5秒で即撤退」。感情論を排除できます。
▼有料note（直リンク）
コメント