「AIを導入したのに、ぜんぜん期待通りに動かない」
そんな声を、最近あちこちで耳にします。
とくに、PdMやマネージャー職にいる人ほど悩むのが、生成AIの“再現性”の低さです。
プロンプトを整えても、回答が毎回違う。
そして「AIが嘘をつく（ハルシネーション）」という壁に必ずぶつかります。
私もまったく同じでした。
最初にAIエージェントを実務に導入したとき、うまくいったのは最初の数回だけ。
その後は明後日の回答を繰り返し、最終的には「人が確認した方が早い」と言われる始末。
でも、原因はAIの精度ではありませんでした。
問題は、“AIをどう使うか”より、“どう設計するか”にあったのです。
AI企画の落とし穴：プロンプトを磨いても精度は上がらない
AI企画が失敗しやすいのは、「プロンプトを書けば改善できる」と思い込んでしまう点です。
けれど、AIは人間のように「理解」して動いているわけではありません。
確率的に“それっぽい言葉”を選んでいるだけ。
だからこそ、AIを正すのではなく、迷わせない設計に変える必要があるんです。
ここで登場するのが、ノーコードAI開発ツール「Dify」。
チャットフローやワークフローを使って、AIの思考手順そのものを分解し、「考え方の道筋」を設計できるのが特徴です。
私がDifyで試した“AIエージェント設計”の実例
私が取り組んだのは、toC社外向けで人間の最終確認が入らないAIエージェント。
つまり、誤った出力がそのままユーザーに届く可能性がある環境です。
この条件下では、単なる生成精度ではなく「壊れ方を設計する」ことが欠かせません。
最初はGPTで検証を進めましたが、プロンプトをどれだけ整えても、
ハルシネーション（事実でない出力）は止まりませんでした。
「根拠がないのに自信満々で答える」──それがAIの本質なんですね。
転機は、AIの処理を一枚岩にせず、「役割ごとに分ける」ようにしたとき。
質問の意図分類 → データ収集 → 要約 → 補足 → 禁止チェックと、流れを分けて設計した結果、
出力のブレが激減しました。
さらに、出力内容を12段階レベルに分けて、AIが「どこまで考えるべきか」を明示。
そのうえで誤出力を防ぐために、二段階の禁止プロンプトを設けました。
これにより、ハルシネーション率は30%→9%→最終的に5%以下まで低下。
この過程で痛感したのは、「AI開発」はテクノロジーではなく、マネジメントに近いということ。
AIを賢くするよりも、AIが迷わない環境を作ること。
それがPdMにしかできない設計思考なんです。
AI導入に失敗しないための視点
AIを導入してもうまく使いこなせない理由は、
「ツールを使うスキル」ではなく、「リスクを設計する力」が不足しているからです。
- どの誤りを許し、どこから人が介入するか
- AIが間違えたとき、どんなフォールバック動線を用意するか
- 何を“致命的な誤り”と定義するか
これらを明確にした瞬間、AI企画は一気に安定します。
この考え方をDifyでどう実装したのか──その詳細を、note有料記事で公開しています。
関連記事
この連載では、PdMが生成AIをどう使いこなすか、
そして“AI時代のマネジメント”をどう再設計すべきかを、実例ベースで発信しています。
コメント