# 练习 01：24 条虚构反馈，从头体验“AI 不是自动正确”

本文件夹的所有评论、标准答案和示范预测均为作者为教学编制的**虚构数据**，不存在真实客户、企业或订单。

## 准备材料

- [feedback-24.csv](feedback-24.csv)：24 条虚构评论，`id,comment`。
- [feedback-24-gold.csv](feedback-24-gold.csv)：**事先写定**的教学标准答案，不是自然科学真理。
- [sample-predictions-not-a-model-result.csv](sample-predictions-not-a-model-result.csv)：人为故意做错的 4 条记录，专门检测评分器，**不是实际 AI 模型成绩**。
- [离线评分网页](../lab.html)：不上传评论或预测，浏览器本地对照。

## 规则（开始之前先读）

每条只允许选择一个标签：`价格`、`功能`、`履约`、`其他`、`需人工复核`。明确价格、优惠归价格；页面与软件操作问题归功能；配送、上门、物流归履约；一般表扬和非核心反馈归其他；情况涉及付款异常/多种可能处理流程/证据不足，优先标待人工复核。这是**人为约定的练习分类法**，在真实业务中应该与负责人员共同制定。

## 10 分钟跟做

1. 不打开标准答案，先用表格对前 8 条人工分类，记录起止时间和纠结点。
2. 用自己可以正常访问的 AI 助手执行下面的完整 Prompt，并粘贴 24 条 `id,comment`。
3. 得到结果后，导出或复制成 `id,category` 两列；不能提供原因时不强求。
4. 打开 [网页评分器](../lab.html)，只粘贴预测 CSV，点击“本地评分”。或使用下面命令。
5. 看漏项、错项、需要人工复核的行；改进规则后重新测一批数据。

```text
你负责给虚构商品反馈做单标签分类。只允许输出五种标签：价格、功能、履约、其他、需人工复核。
规则：优惠、成本、定价归价格；页面使用错误归功能；配送、安装、物流归履约；普通表扬和无明确诉求归其他；涉及支付异常、安全或多重未明的事项归需人工复核。
每条必须严格保留原 ID；不要编造或删行。
只输出 CSV：id,category。不得写解释、Markdown 代码块或其他内容。
如果不能判断，填写“需人工复核”，不要猜。
下面是练习数据：[粘贴 feedback-24.csv 全文]
```

命令行评分（无需安装第三方库）：

```bash
python3 scripts/grade_feedback.py labs/sample-predictions-not-a-model-result.csv
```

正确示范输出应为 **20/24**，但这是**人为制造错误的样例**，不是任何 AI 的准确率。你实际让 AI 跑出来的预测，要用自己的文件测试。

## 对抗式提问

- 分类规则是不是有歧义？第 22、23、24 条为什么设计成“需人工复核”？
- 如果 AI 没按规则给出 24 行，不能把已回答的行全部算对然后宣称 100%。
- 如果某条投诉被漏掉，真实业务会有什么后果？哪些评论必须让真人审核？
- 对同一数据测得的“速度”，是否包含输入、Prompt、人工核对、导出和返工时间？

[零基础工具步骤](../docs/13-ai-tools-selection.md) · [完整评估协议](../docs/15-evaluation-protocol.md)