# 08 AI 产品经理：拿出评测与失败处理证据

AI 产品经理仍然需要理解用户、做取舍和推进交付。AI 部分新增的问题是：输出不稳定时如何定义可用，错误怎样被发现，成本与延迟是否值得，用户如何纠正与接管。实际要求以 01 章的雇主 JD 为准，不把“会写提示词”当作通用任职标准。

本章提供产品评测练习，不涉及训练模型或申请算法岗。Google PAIR 建议先判断 AI 是否带来独特价值；微软 HAX 强调系统出错时应支持用户修改与恢复。这两点是本章的设计参考。[R-M03][R-M04]

## 1. 先交一页“是否应该用 AI”

**输入：** 用户任务、已有非 AI 方案、失败后果和可用资料。

**操作：** 对比人工填写、确定性规则、AI 辅助三条路径。区分“不知道答案”和“无法安全自动决定”。例如 OfferTrail 的截止时间换算适合明确规则；从模糊描述里猜一个时区并自动投递不可接受。

**产出：** 使用/暂不用 AI 的判断页，写清期望收益、额外成本、主要错误和退回人工的条件。

**验收：** 能解释为什么不直接用一个表格；也能解释为什么不是所有步骤都交给模型。没有实际测量时不声称比人工快。

**失败处理：** 找不到 AI 的增量价值，就提交非 AI 方案和后续验证条件。产品判断包含不做的决定。

## 2. 一个可面试的 AI 扩展题

**题目：** 为 OfferTrail 设计“从岗位原文提取截止日期和时区”的辅助功能。原始内容可能缺日期、使用含糊缩写、包含多份相互冲突的通知。不得自动提交申请，也不得判定工作许可资格。

**产品约束：** 原文可回看；每个字段附证据片段；缺信息返回待核实；用户确认后才写入核对表；来源更新后旧确认失效。把网页里“忽略之前指令”的文字当文档内容，不能让它改变产品规则。

| 层级 | 最小交付 | 具体说明 |
|---|---|---|
| 用户价值 | 任务与替代路径 | 只减少重复阅读和填写的负担，不替代最终核验 |
| 输入 | 授权使用的岗位文字 | 不抓取私人邮箱，不上传护照或申请凭证 |
| 输出 | 日期、时间、IANA 时区、证据片段、状态 | 未知值保留 null，不能补猜 |
| 检索 | 是否有必要 | 只抽给定短文时不需要先堆 RAG；查最新政策需另有受控官方来源 |
| 失败处理 | 拒绝推断、人工更正、重试 | 超时保留手工入口；更正不等于模型已经学会 |
| 产品验证 | 正确提取与错误放行分开 | “能输出 JSON”不等于用户能正确完成任务 |

上表是设计练习，当前原型没有接入真实模型。不要在简历中写“训练了高准确率模型”。

## 3. 评测集不是一串好看的问题

**输入：** 明确的任务定义、允许公开的文字、错误分类。

**操作：** 覆盖清晰时间、缺少日期、缺少时区、CST 等多义缩写、相对日期、来源冲突、非截止时间、带干扰指令的文本。提取基线只输出当地时间与时区；跨日换算另由原型用例验证，不能混为同一个检查。每条由人独立写期望输出，并标记分歧。开发用样例与最后验证用样例分开；不能只挑成功案例。本包的 8 条开发示例与 4 条留出示例均已公开，不能再当作盲测集。真实评测须另建独立、未参与调试的数据。

**产出：** `research/ai-eval-cases.json` 的 12 条合成练习数据；`tools/evaluate_baseline.py` 的确定性基线；运行后的检查报告。模型输出列暂未生成。

**验收：** 每个样本可解释为什么应提取或转人工。全部样本明确为合成，不来自用户申请。测试只覆盖这里写出的规则，不代表真实世界准确率。

**失败处理：** 标注人意见不同，先修标准或增加“无法判断”标签。没有真实合法样本时保留合成边界。不要把模型自己生成的标准答案当独立评测依据。

### 产品评测口径

| 口径 | 定义 | 对产品决策的作用 |
|---|---|---|
| 严格字段正确率 | 所有关键字段都与人工基准一致的样本数 / 可判定样本数 | 发现“部分正确”被包装为整体成功 |
| 错误放行率 | 本应待核实却被标可确认的样本数 / 本应待核实样本数 | 关注高代价错误 |
| 人工接管率 | 请求人工处理的样本数 / 全部样本数 | 与节省时间一起看，不能越低越好 |
| 修订耗时 | 从看到输出到完成正确更正的时间 | 发现 AI 反而增加负担的情形 |
| 延迟与失败 | 端到端延迟分布、超时与失败计数 | 包含检索、调用、校验和重试 |
| 单次有效完成成本 | 总调用与重试费用 / 正确完成的任务数 | 不用单个 token 价格代替任务成本 |

这些是训练口径。人工能写出明确期望输出的样本均纳入“可判定样本”，包括期望转人工的缺信息/歧义文本。无法标注的样本须在测试前单列原因，不能按输出好坏事后删除。分母为零时写“不适用”。成本、延迟、人工修订时间必须实际测量后再填。

本包 12 条检查含 3 条提取候选、9 条应转人工。`candidate` 只表示待人工核对的提取候选，不代表允许完成界面核对。基线完全匹配率、错误候选提取率与产品最终错误放行率应分别报告。12/12 软件检查通过也不是模型准确率，更不是用户完成率。

## 4. 一个独立的成本计算练习

以下仅为教学假设，既不是供应商报价，也不是本项目测试数据：100 次任务产生 120 次调用，总费用 6 元，其中 80 次任务正确完成。每次任务的平均调用数为 1.2；每次正确完成的调用费用为 6÷80=0.075 元。若另有人工修订时间，应单列，不能宣称总成本只有 0.075 元。

面试追问可以是：“错误率降低，但接管率翻倍，是否上线？”回答需要看错误严重性、节省的总时间、用户信任和业务约束，不能只看平均准确率。

## 5. 设计一个发布门槛

**输入：** 基线结果、风险类别、真实任务观察和资源上限。

**操作：** 在测试前规定何时继续、收缩或停止。对涉及截止日期的高代价错误，先要求测试集中没有已知错误放行；这不证明真实错误率为零。将模型输出视为待确认建议，保留原文与人工入口。安排模型/提示词/数据源版本记录，变化后重新评测。

**产出：** 一页上线评审草案：范围、已知错误、未测场景、监测口径、回退开关、负责人和复查时间。

**验收：** 任何单项“通过”都不应被表述为整个产品可靠。读者能清楚区分软件测试、模型评测、可用性测试与实际业务效果。

**失败处理：** 某个语言或格式表现差，缩小支持范围并明确展示。模型不可用则退回手工流程。发生错误放行先阻止确认、保留记录和修正，不通过增加营销文案掩盖。

## 6. 如何写进申请材料

可用的表述是：“为截止时间提取功能设计 12 条合成边界样例与错误放行口径，建立确定性基线和人工复核流程；尚未接入模型或开展真实用户评测。”如果实际没有跑过基线，要把“建立”改成“设计”。

英文：“Designed a 12-case synthetic evaluation set and a human-review flow for deadline extraction; documented a deterministic baseline, error-release criteria, and untested scenarios. No live model or user study has been conducted.”

面试时先演示一个失败样例，再解释产品为什么阻止确认。这比展示一条幸运的成功输出更能说明你如何处理不确定性。

### 参考来源

- [R-M03 Google PAIR：User Needs + Defining Success](https://pair.withgoogle.com/guidebook-v2/chapter/user-needs/)，核验 2026-11-13。
- [R-M04 Microsoft HAX：Support efficient correction](https://www.microsoft.com/en-us/haxtoolkit/guideline/support-efficient-correction/)，核验 2026-11-13。
