# 真正测一次 AI 有没有帮上忙：评估协议

很多人只记录“AI 生成用了 2 分钟”，不算自己写指令、复核、改错的时间。这种数字毫无参考价值。

## 0. 先冻结测试条件

- 写下你真正的任务。例如“把 24 条反馈分成价格/功能/履约/其他/待人工复核”。
- 写下具体输出格式和错误定义。不能为了让 AI 看起来更准，事后改规则。
- 确保样本有权使用。无授权用本仓库 [24 条虚构反馈](../labs/feedback-24.csv)。
- 写下测试日期、工具/模型（知道则填）、付费成本、网络/使用限制。

## 1. 人工基线（T0）

在**不借助 AI**的情况下完成 A 组样本，按同一套规则记录：输入数 N、总耗时 T0、错误数量 E0、漏项 M0、需人工复核的条数 U0。最好留下一份结果表。

## 2. AI 辅助（T1）

用难度相近的 B 组；若只能使用同一组材料，必须注明记忆/顺序效应，不能当严格因果对照。记录：准备输入时间、写 Prompt 时间、运行时间、人工复核时间、返工时间、异常恢复时间。**T1 等于所有这些时间之和**。

## 3. 质量判定

- **覆盖率**：已输出且符合格式的条数 / 总条数。
- **准确率（有标准答案时）**：正确分类条数 / 总条数。题目允许“待人工复核”时按预先定义的标准答案核对。
- **严重错误**：泄露隐私、编造引用、把投诉当表扬、漏掉重要异常、超出权限执行。严重错误出现一次也可能不适合继续自动化。
- **复核工作量**：为了把结果改成能交付的版本，需要多少分钟及多少次人工修改。
- **可复现性**：换一天/换一批输入/换执行人时结果是否仍能达到验收标准。

## 4. 用公式算，不要随便说“提升 300%”

若 T0>0 且可比：`耗时变化率 = (T0 - T1) / T0 × 100%`。正值表示这次更快，负值表示更慢。`T1 / T0` 是所用时间的相对比例，和“工作效率提升比例”不是一回事。

**演算例子（虚构）：** T0=70 分钟，AI 运行 12 分钟，复核 25 分钟，则 T1=37 分钟，耗时减少 `(70-37)/70=47.1%`。这并不能推出工资或产出提高了 47.1%，更不能概括到其他岗位。

## 5. 至少做第二轮

第一次熟悉输入会造成学习效应。换另一批数据再次做（如可能交换人工/AI 的执行顺序），记录异常。如果第二次变慢，如实写。样本很少时，不做“显著提升”的统计推断。

## 6. 决策标准，提前写

- **继续试**：权限合规、质量达到人工底线、复核成本可承受、输出结果能让别人复现。
- **调整**：格式错误多、遗漏集中、复核成本太高、只在样本上表现好。
- **停止**：资料无授权、涉及重要不可逆操作、失实风险无法控制、真实总耗时持续更差且无其他明确收益。

## 可以复制的报告表

| 日期/批次 | 样本与来源 | 人工总时 T0 | AI含复核总时 T1 | 质量与严重错误 | 限制 | 决定 |
|---|---|---:|---:|---|---|---|
| ____ | ____ | ____ | ____ | ____ | ____ | ____ |

[练习与评分工具](../labs/README.md) · [实验模板](../templates/experiment-log.md)


### 为什么必须连错误一起算？

NBER 客服现场研究观察到提效，METR 特定开发者随机实验观察到变慢。二者测量的不是一回事；结论必须结合任务、工具、样本和人工返工成本。[六个案例](20-real-world-cases.md) · [案例核查模板](../templates/verified-case-card.md)。