夜の会議室で、私は配色案AとBのモックを並べていました。
「どっちが良いと思います？」と聞いても、答えは割れるばかり。時間だけが過ぎていく。
そのとき、先輩が静かに言いました。「“どっちが好きか”じゃなくて、“何を学びたいか”から始めよう」。
私は深呼吸して、ホワイトボードに1行だけ書きました。
——「初回の保存までの迷いを減らせば、Aha到達が上がるはず」。
そこからのA/Bテストは早かった。仮説→指標→ガードレール→判定日の順に並べると、迷いが消える。この記事は、未経験〜ジュニアPdMが今日から使える“最短で正しい判断に着地する”A/B運用テンプレを、物語と会話でまとめたものです（具体企業名や実数は非公開）。
1. A/Bテストは「学習」を最短にするための道具
目的は勝敗ではなく、意思決定に必要な学習を最短コストで得ること。やる前に、次の3点を1行ずつ決めます（指標の置き方はKPI設計と運用が詳しい）。
- 仮説（1行）：例「例示カードを先に見せれば、保存までの迷いが減り、Ahaが上がる」。
- 主要指標（先行）：Aha到達率／TTV中央値／翌日活性のいずれか。
- ガードレール：問い合わせ/新規UUの増えすぎ、エラー率（Ahaパス）など副作用監視。
2. 設計テンプレ：PRDの“実験チケット”に落とす
PRDに小さく「実験チケット」を作り、合意してから走ります（PRDの書き方は要件定義ガイド）。
■実験タイトル：例示カードの有無でAha到達が変わるか
■仮説（1行）：例示を先に見せれば迷いが減る→Aha↑
■主要指標：Aha到達率（save_success率）
■副指標：TTV中央値、翌日活性
■ガードレール：問い合わせ/新規UU +20%以内、Ahaパスのエラー率 < 1%
■差分：カード1枚の表示有無のみ（他は同一）
■対象/期間：新規ユーザーの50%にランダム割付／2週間
■判定日：W2金 10:00（早めに固定）
■Decision条件：Aha +3pt以上でGo、±1pt以内は保留→定性で判断
差分は1つだけに。複数変更は“勝因が分からない”を生みます。
3. 実施の流れ（今日から走れる5ステップ）
- 準備：イベント（app_open, save_success, d1_active）が計測されているか確認。足りなければ先に入れる。
- 割付：ランダムでA/Bを振り分け。ユーザーの属性が偏らないようにログでサンプルをざっくり確認。
- 開始アナウンス：Slackに「目的/指標/判定日/ガードレール」の4行で共有（文面テンプレは後述）。
- 運用：判定日までは触らない。途中で“良さそう”でも止めない（途中停止は誤判定の元）。
- 判定：主要指標の方向性、副指標の一貫性、ガードレールの安全で判断→Decision Logに1行。
4. 会話で分かる“現場の勘どころ”
私：「今回の目的はAha。勝ち負けじゃなくて“学習”を取りにいきます」
Eng：「差分は例示カード1枚だけにする？」
CS：「問い合わせ増えたら止めよう。ガードレールに入れて」
私：「OK。判定はW2金。ダッシュボードの上に“3行”を置きます」
“判定日”の一言があるだけで、途中の雑音が消え、会議が短くなります。
5. Slack文面テンプレ（開始/途中/判定）
- 開始
「AB開始：例示カードの有無でAhaが変わるか。指標：Aha率／TTV。判定：W2金10:00。ガード：問い合わせ+20%以内・エラー<1%。」 - 途中
「途中経過：Ahaは微増。まだ判定しません（途中停止しないルール）。」 - 判定
「Decision：B採用（例示あり）。根拠：Aha +3.2pt、TTV -0.6分、一方で問い合わせ変化なし。次：カード位置の最適化をNextに。」
6. ありがちな失敗と、やさしい直し方
- 失敗：途中で“良さそう”だから止める
→ 直す：判定日を先に置く。途中は学習メモだけ。 - 失敗：差分が多すぎる
→ 直す：1変更＝1学習。勝因を特定できる粒度に。 - 失敗：売上だけで判定
→ 直す：先行指標（Aha/TTV/翌日活性）で見る。売上は“追認”。 - 失敗：ガードレールがない
→ 直す：問い合わせ/新規UU、Ahaパスのエラー率を必ず置く。
7. 実験後の“見せ方”：Result Card（1枚）
■テーマ：例示カードの効果検証
■判断：B採用（例示あり）
■根拠：Aha +3.2pt、TTV -0.6分、問い合わせ ±0
■学び：説明より例示。カードはフォーム上に置くと迷いが減る
■次の一手：位置の最適化（ファーストビュー内）をAB
面接や評価にも効く“再現性のある成果”の見せ方は、キャリア記事が参考になります：転職直後の90日ガイド／優先付けは優先順位フレーム。
8. 物語：判定日の朝、短い数字が背中を押した
判定日の朝、ダッシュボードの上に“3行”が並びました。
Aha +3.2pt。TTV -0.6分。問い合わせ±0。
「Bでいこう」——誰も反対しませんでした。
その日のリリースノートには、使い方3手とCS台本を短く添えて。数字は静かに、でも確かに上向いていきました。
9. コピペで使える：A/Bチェックリスト（初心者版）
□ 仮説は1行で書いた（◯◯すればAhaが上がる）
□ 主要指標は先行（Aha/TTV/翌日活性）で置いた
□ ガードレール（問い合わせ・エラー率）を決めた
□ 差分は1つだけ（勝因を特定できる）
□ 判定日を先に置き、途中で止めない
□ Decision Logに1行で残した
10. 関連記事（内部リンク）
- PdMが成果を出すKPI設計と運用の実践ガイド
- 仕様書／要件定義の書き方（現場テンプレ）
- ジュニアPdMが身につけたい「ユーザーインタビュー」の基本と実践
- 優先順位判断フレームワーク完全解説
- PdM転職直後の最初の90日を完全ガイド
11. 有料note＆特典テンプレ
この記事の実験チケット雛形、Slack文面テンプレ、Result Cardは、有料noteで配布。購入者特典：PdMスキルテンプレート集（PDF）／キャリア戦略シート（PDF）。
12. まとめ：勝つより、学ぶ。学んだら、決める。
A/Bテストは“好き嫌い投票”ではありません。
仮説→指標→ガードレール→判定日、の順で並べ、差分を1つに絞る。
そして、判定日に決める。シンプルですが、これが一番速い道です。次のスプリントでひとつだけ、この記事のテンプレをそのまま使ってみてください。会議が静かに短くなり、あなたの判断は一段クリアになります。
コメント