一个诡异的剪刀差

2025 年到 2026 年，主流大模型在 MMLU、HumanEval、GSM8K 等基准测试上的得分持续攀升。开源模型追赶闭源模型的速度超乎预期，Llama-4 在某些 benchmark 上甚至超越了 GPT-5 的同级版本。

但用户侧呢？用户的 NPS 没有同步上升，客服投诉量没有下降，AI 产品的留存率曲线并没有因为 SOTA 提升而变得更漂亮。

这里有一个巨大的认知断裂：行业在用一套和用户体感无关的指标，来证明自己在进步。

Benchmark 的三重失真

第一重：任务代表性失真

MMLU 测的是多任务语言理解，包含 57 个学科的选择题。但真实用户场景中，没人会用"四选一"的方式和 AI 交互。用户需要的是长文本推理、多步拆解、不确定性表达——这些在选择题格式里完全无法体现。

就像一个医生在笔试中考了满分，但真实手术台上手抖——笔试分数和临床能力之间隔着一条鸿沟。

第二重：数据污染失真

这是行业公开的秘密：训练数据中混入了测试集的近邻甚至原题。模型不是"理解了问题"，而是"记住了答案"。GSM8K 的数学题换了数字，部分模型准确率下降 30% 以上。

更隐蔽的问题是：当整个行业都在为提升同一个 benchmark 做优化时，该 benchmark 就不再是"测试"，而变成了"训练目标"。考核标准本身被应试化。

第三重：分布失真

现有 benchmark 测试的是"平均表现"，而用户真正抱怨的永远是"边缘 case"。如果一个模型在 90% 的常见任务上准确率 98%，但在 10% 的高价值任务上准确率只有 40%，用户的实际感受会是"这个产品不靠谱"。

统计学上的平均值掩盖了体验上的方差。

产品经理应该看什么？

我自己的实践是建立一个"三维评估矩阵"，和模型指标并行使用：

维度一：任务完成率（Task Completion Rate）

不是"输出是否准确"，而是"用户是否用这个输出完成了后续动作"。用户复制了你的回答去写周报——算完成。用户看了一眼就关掉了——不算。

这个指标最接近用户价值，但需要产品端埋点支持。

维度二：修正成本（Correction Cost）

用户从收到 AI 输出到完成修改，花费了多少步操作？修正成本越高，用户对产品的依赖意愿越低。

实际操作中，可以测量「用户对 AI 输出进行手动编辑的比例」，如果超过 40%，说明输出的可用性不够，用户不是在"使用 AI"，而是在"为 AI 改作业"。

维度三：信任累积率（Trust Accumulation Rate）

新用户在前 10 次交互中，有多少比例是正向体验？这个指标决定了用户是否会给产品第 11 次机会。

AI 产品的留存不是线性增长的，而是存在一个"信任临界点"——在那之前用户随时可能流失，在那之后用户形成了使用惯性。

告别 Benchmark 崇拜

Benchmark 不是没用，而是它的受众应该是技术团队，不是产品决策者。

产品经理不需要知道 BLEU 分数涨了 2 个百分点意味着什么。产品经理需要知道的是：上周有 17% 的用户因为输出格式不对而放弃了任务——这 17% 的流失是产品问题还是模型问题？如果是模型问题，升级到新版本模型后这个数字能不能降到 5% 以下？

这才是 AI 产品评估的日常。不是跑分，是跑数。