两种失败的差异

传统软件的错误是吵闹的。崩溃弹窗、500 错误页、红色感叹号——用户立刻知道出事了，产品方立刻收到告警。

AI 产品的错误是安静的。模型给出了一段流畅、自信、格式完美的输出——然后你可能要到三天后才发现其中引用的数据是虚构的，或者给出的建议基于一个已经被废除的政策。

我把这类错误称为「静默失败」。它有三个特征：

  • 输出形式上无可挑剔
  • 用户第一反应是信任而非质疑
  • 错误的后果可能在时间或空间上延迟暴露

产品经理最该警惕的不是"模型有时候会出错"——这是已知的。真正危险的是"模型出错时看起来完全不像出错"。

静默失败的高发场景

事实性陈述

模型被问到"2025 年中国 AI 市场规模是多少"时，给出一个带小数点的精确数字。用户无法分辨这是查询了最新报告，还是模型根据训练数据中的模糊记忆"编"了一个看似合理的数。

操作建议类

医疗、法律、金融领域的咨询场景。模型的语气越笃定，用户越容易被误导。我看到过一个案例：用户问 AI"合同中的竞业条款是否合法"，模型引用了两部已经废止的法规条文，做出了"合法"的判断——而且附带了法条编号，看起来非常专业。

代码生成类

模型生成了一段代码，语法正确、逻辑通顺，安全漏洞却藏在函数的边界条件里。开发者复制粘贴后跑了测试，全绿通过。三个月后在极端流量下崩溃，排查了半天才定位到那行 AI 生成的代码。

产品层的应对策略

与其试图让模型永远不出错——这不现实——不如设计一套"让错误变得可见"的产品机制。

策略一：置信度可视化

不需要展示模型内部的概率分布。在产品层面，更有效的方式是对不同类型的信息采用不同的视觉语言：

  • 确定信息：标准卡片，无额外标识
  • 推测信息：浅灰底色 +「AI 推断，建议核实」
  • 引用信息：附来源链接 + 更新时间

这个设计的核心不是"告诉用户 AI 有多不确定"，而是"让用户用最低的认知成本分辨哪些信息可以闭眼用、哪些需要动脑核实。"

策略二：强制二次确认

对于有后果的操作类输出，设置"人工确认节点"。不是弹窗问"你确定吗？"——用户永远会点确定。而是：

  • 把 AI 的关键假设拆成 3-5 条，让用户逐条确认
  • 对关键结论，要求用户补充一个 AI 不知道的私有信息作为校验

策略三：影子模式

上线高风险场景时，不要直接替换人工流程。先跑"影子模式"：AI 在后台运行，给出结果但不呈现给用户，由人工审核后记录偏差。当影子模式下的准确率连续两周稳定在阈值以上，再逐步切流量。

这是一个慢但稳的做法，适合金融、医疗、法务等容错率低的领域。

长期思路

静默失败不是技术问题，是产品设计问题。技术团队负责提升准确率，产品团队负责设计「当准确率不是 100% 时，用户如何安全地使用产品」。

一个好的 AI 产品，用户不会因为它出错而愤怒——因为错误是可感知、可追溯、可修正的。用户真正愤怒的，是对着自己不知道的错误做了错误的决策，而产品没有给任何提示。