AI 产品的核心指标体系如何设计？

面试题

"传统产品有 DAU、留存、转化等指标。AI 产品需要额外关注哪些指标？请给出你的指标体系设计思路。"

这道题考察 AI PM 的度量能力和商业思维。核心考察点包括：是否理解 AI 产品「概率性」本质对度量的影响、是否区分技术指标和业务指标、是否建立了从模型质量到用户价值的因果链路。

第一步：点出与传统产品的本质差异

"传统产品的质量是二元的——功能要么对要么错。AI 产品的质量是概率的、多维的，所以指标体系必须覆盖'能不能用''好不好用''值不值得用'三个层次。"

第二步：三层指标体系

技术质量层（能不能用）：准确率、召回率、F1 值、幻觉率、拒识率。这些指标面向技术团队，用于模型选型和迭代。注意——这些指标和用户满意度没有直接因果关系
用户体验层（好不好用）：任务完成率（用户用 AI 输出完成了后续动作的比例）、修正成本（用户手动编辑 AI 输出的比例）、首次有效交互率（新用户第一次使用就成功的比例）。这些指标面向产品团队，直接反映体验质量
商业价值层（值不值得用）：单次任务成本 vs 人工成本、用户付费转化、留存提升幅度。这些指标面向决策层，回答「AI 值得投入吗」的问题

第三步：关键洞察

"最重要的是建立'技术指标 → 体验指标 → 商业指标'的因果链路。比如：幻觉率降低 2% → 任务完成率提升 8% → 次日留存提升 3%。没有这条链路，技术团队优化了准确率但产品数据没变化，大家都不知道为什么。"

第四步：举例

"我做过一个 AI 写作产品：技术侧关注 BLEU 和幻觉率，但发现 BLEU 分数提升 5 个点后，用户的修正成本没有下降。深入分析发现——BLEU 衡量的是和参考答案的相似度，但用户需要的是创意多样性。后来我们增加了'多样性指数'和'惊喜时刻率'作为补充指标。"