【2025年版】【図解】A/Bテスト最短マニュアル｜Aha→TTV→D1で判定し、p95救済から始める

結論：A/Bテストは「Aha→TTV→D1」に直結させ、まずはp95（遅い人の体験）を救う実験から始めるのが最短です。

夜のデイリー。若手が「CVRで判定します」と言った瞬間、私は首を振りました。「それは“遅行”。まずはAha到達とTTV、翌日のD1で決めよう」。匿名のPdM組織でマネージャーをする私は、厚い検定より“決める速さ”を重視します。この記事は、A/BをAha/TTV/D1に結び直す実戦テンプレのまとめです。

Aha→TTV→翌日活性の順で見ると意思決定が速くなります。詳しくはKPI設計と運用ガイドへ。

1. 判定軸を入れ替える：Aha→TTV→D1に直結させる

（導入）A/Bで迷子になるのは、多くが“売上/CVRだけで決める”からです。上流で意思決定するなら、Aha（初回価値）→TTV（到達時間：p50/p95）→D1（翌日活性）を判定軸に据えるのが最短。p95の遅い人を救えば、D1や継続が自然に伸びます。

（要点）①Ahaは「◯分で◯◯完了」を一行で固定。②TTVはp50とp95を別々に可視化（p95救済をKRに）。③D1は保存→再開など“小さな継続”で十分。④判定日は先置き、遅延流入は翌週に補正。⑤売上は下段の確認に回し、週次は先行指標だけで決めます。具体例：見出しを“結果の約束”に変えただけでAha＋6pt、TTV p95 −45秒。

コピペ素材｜A/B判定表（先行指標版）
判定日：◯/◯（週次）
Aha：到達率 A：◯％／B：◯％（差分＋◯pt）
TTV：p50 A：◯秒／B：◯秒、p95 A：◯秒／B：◯秒（差分−◯秒）
D1：A：◯％／B：◯％（保存→再開）
結論：採用＝A/B／次手＝◯◯（p95救済 or コピーA/B継続）

（まとめ）“先行で決める”に切り替えるだけで、会議が速くなります。

2. 仮説の作り方：事業語→感情語→行動へ翻訳する

（導入）「CVRが低い」「価格が高い」は事業語。ユーザーは“不安・面倒・損・期待外れ”で動きます。A/Bはこの“気持ち”の違いを検証する装置に変えるべき。感情→行動に翻訳すると、コピー/導線/エラー文の打ち手が自然に並びます。

（要点）①症状（事業語）→気持ち（不安/面倒/損/期待外れ）→条件（何があれば進む）→行動（保存/再開/離脱）の順で分解。②A案＝不安の否定（例：電話はかかりません）、B案＝労力の短縮（例：自動入力/クリック1つ）。③検証対象は“言葉・順番・遅延バリデーション”。④p95救済の仮説を必ず混ぜる。

コピペ素材｜仮説分解シート
症状：◯◯が低い → 気持ち：不安/面倒/損/期待外れ → 条件：「◯◯なら進む」 → 打ち手：
コピー（結果の約束/不安否定）／導線（主ボタン1つ化）／エラー文（原因→行動の一行/確定後表示）

（具体例）「価格が高い」→ 本音は“結果が見えるまで不安”。A案：3分で比較→保存／電話はかかりません、B案：初回は入力3項目だけ。Aha＋4pt、p95 −60秒でA採用。
（まとめ）感情語へ翻訳できれば、A/Bの“何を変えるか”が決まります。

3. 設計：配分・期間・停止基準は“判定装置”から逆算する

（導入）配分や期間を先に決めるとズレます。A/Bは“判定装置”。Aha/TTV/D1を測るための期間と配分を後付けで選ぶ方が速い。初動は均等、p95救済の効果が見えたら収束（拡大）します。

（要点）①配分：50/50で開始、強い差が出たら60/40→80/20へ段階的に。②期間：最低1週間（曜日差・翌日活性を見るため）。③停止：Ahaやp95が悪化か、品質ガード（応答p95 ≤ 1500ms）を割ったら停止。④同時実験は“同一フェーズで1本”が基本。⑤判定日は“先置き”。

コピペ素材｜実験計画チェックリスト
□ 目的＝Aha/TTV/D1のどれ？　□ 判定日＝◯/◯（◯曜）
□ 配分＝50/50開始 → 収束基準＝Aha＋◯pt or p95 −◯秒
□ 期間＝1週間以上　□ 同時実験＝フォーム系は1本まで
□ ガード＝応答p95 ≤ 1500ms／タイムアウト ≤ ◯％

（具体例）フォーム改善は同時に複数やらず、まず“見出しの約束”一本で一週運用。Aha＋6ptを確認後、入力順の実験へ。
（まとめ）“判定装置→配分・期間”の順で決めるとブレません。

4. 実装：イベントとログは最小3種、p95は必ず分けて見る

（導入）ログが曖昧だと、A/Bは“感じ”で終わります。イベントはAha/TTV/D1に対応する3種から開始し、p50/p95を別トラックで計測。初回と2回目以降の違いも切り出すと、学びが速い。

（要点）①必須イベント：aha_reached（到達）/saved（保存）/revisit（翌日再開）。②属性：is_first_sessionとlatency_ms、variant。③集計：TTVはp50/p95の二面図、D1は保存→再開の遷移で。④品質：応答p95、タイムアウト率をガードに。⑤UIの重さは“初回は軽量UI”が原則。

コピペ素材｜イベント命名テンプレ
events：aha_reached / saved / revisit_next_day
props：variant, is_first_session, latency_ms
判定：Aha到達＋◯pt / TTV p50/p95 −◯秒 / D1＋◯pt（判定日先置き）

（具体例）到達判定が“完了”と混在→ aha_reached を独立させ、p95遅延が顕在化。軽量UI化でp95 −70秒、D1＋3pt。
（まとめ）イベントは“判定装置”。最小3種から始めれば十分です。

FAQ

Q. トラフィックが少なく、統計的に結論が出ません。

A. 先行指標の“差分の方向”で決めましょう。Aha到達とp95短縮が揃えば採用。次の一週でD1と遅行を確認します。

Q. 同時に複数の変更を入れたいです。

A. 同一フェーズでは一本に。まずコピー→次に導線→最後にバリデーション。p95救済を一本入れるのがコツです。

Q. p95が取りづらい環境です。

A. 代理として“入力完了率のp95”や“初回応答p95”で代替。記録だけ先に入れて、翌週から二面図に切り替えましょう。