面试题
"公司决定把底层模型从 GPT-4 切换到 Claude-4，作为产品经理，你需要做什么来保证用户体验不受影响？"
面试考查
这道题考察 AI PM 的系统性风险意识和对模型生态的理解。核心考察点：是否理解不同模型有不同「性格」、是否知道切换不只是技术问题更是体验问题、是否有风险预案思维。
推荐回复
第一步：点出核心风险——模型不是无差别的
"首先要认识到：不同模型有本质不同的'性格'——GPT 系列更倾向于建设性、鼓励式表达，Claude 系列更直接、审慎。同一个 Prompt，不同模型可能产出风格迥异的输出。切换模型不是换个 API endpoint 那么简单。"
第二步：切换前的五个准备动作
- 输出风格基线：切换前对当前模型在 50-100 个典型场景下的输出做标注——语气强度、信息密度、主动性、确定性表达频率。切换后用同样样本跑一遍，对比分布偏移而非平均分
- 灰度策略：不要全量。新用户先用新模型，老用户保留旧模型做对照组。或按场景分——低风险场景先切（内容生成、翻译），高风险场景后切（分析建议、决策辅助）
- 回滚机制：保留旧模型配置和 API 密钥，确保一键回滚。不是「希望用不到」，而是「假设一定会用到」
- 用户告知策略：不说「我们升级了模型体验更好」——这是给自己挖坑。应该说「我们更新了底层引擎，输出风格可能略有变化。如果发现不符合预期的回答，请随时反馈」
- 存量 Prompt 兼容性审计：如果产品允许用户自定义 Prompt，必须在切换前审计兼容性。用户写的 Prompt 高度依赖特定模型的行为假设
第三步：上线后监控
"切换后前两周是危险窗口。重点监控三个指标：用户纠错率（点击重新生成/手动修改的比例）、满意度反馈（点赞/点踩比）、任务放弃率。任一指标恶化超过 15%，立刻触发回滚。"
避坑要点
- 不要说「换个 Prompt 就行」：这是最常见的错误回答。Prompt 是对模型行为的约束，但约束不了模型的默认倾向。不同模型是不同车，换车不是换轮胎能解决的
- 不要低估用户感知：你可能觉得「风格变化不大」，但用户可能因为语气从「友善导师」变成「严苛考官」而流失
- 不要只关注技术指标：准确率提升不代表体验好。切换后准确率涨了 9% 但用户投诉翻倍的案例在行业里屡见不鲜