# 03｜有引用，不代表回答正确

作者：AI酋长Andy · 星觉科技 · 北京 · 微信号：AIPMAndy  
版本：2026-11-13。教学模拟；本例是离线检索与原文抽取，**没有调用 LLM**。

## 要解决的问题

给一套文档和一个问题，系统应该找到相关证据，能回答时引用原文，证据不足时拒答。困难不是“打印一个回答”，而是发现相关文档里根本没有所问事实。

本例适合 AI 应用工程的检索、评测和失败分析练习。它不是完整生产 RAG，也不证明读者掌握嵌入模型、LLM 微调或大规模知识库部署。

## 完整输入

`data/corpus.jsonl`：8 篇虚构实验室文档，包含数据保留、模型评测、回滚、错误报告、凭证处理、算力预算、同伴复现、数据划分。文档里的 30 天、两小时等数值是教学设定，不是现实公司规定。

`data/questions.jsonl`：24 道手工编排的问题，dev 8 道，test 16 道。test 分为可回答 8 道、不可回答 4 道、明确含恶意指令模式 4 道。每条有 ID、split、kind；可回答题还提供正确文档 ID 与必须出现的短语。

```json
{"id":"te03","split":"test","kind":"answerable","question":"What are the deployment rollback steps?","expected_document":"d03","expected_phrase":"previous model artifact"}
```

没有个人信息、真实企业资料或签证规则。所有输入完整随仓库提供。

## 运行步骤

Python 3.10+，只用标准库，无 GPU、网络或付费 API：

```bash
python3 examples/03_grounded_retrieval/run.py
python3 -m unittest discover -s examples/tests -v
```

打开 `reports/evaluation.json` 查看 dev 阈值比较、test 每题的证据和结果；`reports/failures.json` 保存 4 个失败。统一验收使用 `python3 examples/run_all.py`。

## 方法

1. 对标题和正文进行英文分词，去掉固定常见词。
2. 实现 BM25 词面检索，固定 `k1=1.5`、`b=0.75`，返回 top 3。分数依据词频、文档频率和文档长度归一化计算。
3. 在 dev 比较阈值 `{1, 2, 3, 4}`，按任务正确率选；同分优先不可回答题拒答率，再选较小阈值。test 不参与选择。
4. 最高分低于阈值就拒答。超过阈值则原样抽取第一篇正文，并输出文档 ID、标题、引用段落。
5. 对 4 类明显指令模式做字面阻挡，例如要求忽略指令或展示 system prompt。

最终阈值为 2。它只适用于此语料和分词方法。BM25 分数不是概率；更换语料、语言或分词器后需要重新验证。

这里没有语义理解器或蕴含判断器。关键词规则也不是安全边界，不能因 4 道样例都拒答，就声称防住了提示注入。

## 预期输出与指标定义

| 指标 | 固定结果 | 分母与含义 |
|---|---|---|
| 任务正确率 | 12/16 = 0.75 | 可回答题需正确文档与关键事实；其余题需拒答 |
| Retrieval Recall@3 | 7/8 = 0.875 | 8 道可回答题中，正确文档是否进入 top 3；在拒答前计算 |
| 可回答题覆盖率 | 6/8 = 0.75 | 可回答题中实际回答的比例，不保证回答正确 |
| 可回答题正确率 | 6/8 = 0.75 | 正确回答数 / 8，与覆盖率含义不同 |
| 不可回答题拒答率 | 2/4 = 0.50 | 4 道无证据问题中拒答的比例 |
| 字面攻击样例拒答率 | 4/4 = 1.00 | 只说明 4 条已设计的明显模式被拒绝 |
| 已回答题引用完整率 | 8/8 = 1.00 | 引用 ID 存在，引用是对应原文的子串；不等于相关或正确 |

报告在分母为零时写 `null`，不会把“没有测试”写成 100%。引用完整率 100% 与任务正确率 75% 同时出现，正是本案例要教的判断。

## 四个失败必须保留

| ID | 现象 | 失败类型 | 应验证的改进 |
|---|---|---|---|
| te05 | 问凭证暴露后的处理，但词形变化导致分数不足 | 可回答却拒答 | 比较词形归一化/同义词/语义检索；检查是否增加误匹配 |
| te08 | 用 observations/disappear 表达数据删除，找不到证据 | 词面检索漏召回 | 用新改写集比较 lexical、dense、hybrid；不能只背此题 |
| te11 | 文档说 GPU 时长，问题问 GPU 型号，仍返回时长 | 有引用但答非所问 | 明确核验所问属性是否存在，加入难负例与拒答规则 |
| te12 | 问银行报销，系统因 deployment/budget 重叠而回答 | 无证据却回答 | 加入跨主题相似词的无答案题，评估拒答与覆盖率取舍 |

“把阈值调高”可能减少假回答，也会增加真实问题被拒绝。不能仅优化一个数字。先定义错误代价，再在 dev 比较覆盖率和错误回答率；最终用没参与迭代的新测试集确认。

## 错误排查

| 现象 | 先检查什么 |
|---|---|
| 全部拒答 | 阈值、问题语言、语料路径、分词后是否为空 |
| 引用 ID 找不到 | 文档唯一键是否被改、索引与语料是否同一版本 |
| 引用真实但答案不对 | 检查所问属性是否存在；引用完整性不是相关性 |
| 修改语料后指标变化 | 对比输入哈希；不要继续引用旧报告 |
| 攻击题通过所以觉得安全 | 这里只有几个字面模式，未测试混淆、跨轮或文档注入 |

## 如何升级成自己的项目

选择有许可、没有隐私的知识域。先写标注规则与困难问题，再建立版本化语料、dev/test 和无法回答的负例。保留此离线基线，逐项增加向量检索、重排、真正的 LLM、结构化引用与答案支持性判断。

若接入外部模型，要另行记录提供商、模型版本、日期、提示词、参数、单次成本、超时、隐私约束和每题原始输出。未运行的适配器不能计入实测成果；LLM 结果也不能替换成本例原有离线报告。准备针对文档中的恶意指令、越权检索、引用伪造和信息泄露做专门评测。

本版本没有提供或调用 LLM adapter，避免把空接口误当成功能。下一版本是否加入，应由申请岗位要求和自己的可验证改进决定。

## 简历与面试（教学模拟）

可写：“复现 BM25＋抽取式回答的离线基线，建立含可回答、不可回答和指令攻击样例的 24 题评测集；在固定 16 题 test 上记录 Recall@3 0.875 和不可回答拒答率 0.50，分析 4 类失败；独立新增【实际完成的改进】。”

注意：如果 24 题直接来自本仓库，必须把“建立”改成“复现并审查”，不能声称自己原创标注了全部数据。

不能写：“从零开发企业级 RAG，彻底消除幻觉，安全率 100%。”

准备回答：为什么引用完整性不等于正确？检索指标和回答指标为什么分开？拒答的分母是什么？BM25 阈值能跨语料比较吗？你如何设计无答案问题？若接入 LLM，会新增哪些失败与成本？你个人新增了哪些实验证据？

## 许可与归属

代码 MIT；输入 CC0。基线与合成输入由 AI 辅助新写并实际执行。请记录原仓库来源、个人变更、AI 辅助部分和人工核验；不把教学资料称为客户资料，不把复现称为原创商业项目。
