03|有引用,不代表回答正确
作者:AI酋长Andy · 星觉科技 · 北京 · 微信号:AIPMAndy 版本:2026-11-13。教学模拟;本例是离线检索与原文抽取,没有调用 LLM。
要解决的问题
给一套文档和一个问题,系统应该找到相关证据,能回答时引用原文,证据不足时拒答。困难不是“打印一个回答”,而是发现相关文档里根本没有所问事实。
本例适合 AI 应用工程的检索、评测和失败分析练习。它不是完整生产 RAG,也不证明读者掌握嵌入模型、LLM 微调或大规模知识库部署。
完整输入
data/corpus.jsonl:8 篇虚构实验室文档,包含数据保留、模型评测、回滚、错误报告、凭证处理、算力预算、同伴复现、数据划分。文档里的 30 天、两小时等数值是教学设定,不是现实公司规定。
data/questions.jsonl:24 道手工编排的问题,dev 8 道,test 16 道。test 分为可回答 8 道、不可回答 4 道、明确含恶意指令模式 4 道。每条有 ID、split、kind;可回答题还提供正确文档 ID 与必须出现的短语。
json{"id":"te03","split":"test","kind":"answerable","question":"What are the deployment rollback steps?","expected_document":"d03","expected_phrase":"previous model artifact"}
没有个人信息、真实企业资料或签证规则。所有输入完整随仓库提供。
运行步骤
Python 3.10+,只用标准库,无 GPU、网络或付费 API:
bashpython3 examples/03_grounded_retrieval/run.py
python3 -m unittest discover -s examples/tests -v
打开 reports/evaluation.json 查看 dev 阈值比较、test 每题的证据和结果;reports/failures.json 保存 4 个失败。统一验收使用 python3 examples/run_all.py。
方法
- 对标题和正文进行英文分词,去掉固定常见词。
- 实现 BM25 词面检索,固定
k1=1.5、b=0.75,返回 top 3。分数依据词频、文档频率和文档长度归一化计算。 - 在 dev 比较阈值
{1, 2, 3, 4},按任务正确率选;同分优先不可回答题拒答率,再选较小阈值。test 不参与选择。 - 最高分低于阈值就拒答。超过阈值则原样抽取第一篇正文,并输出文档 ID、标题、引用段落。
- 对 4 类明显指令模式做字面阻挡,例如要求忽略指令或展示 system prompt。
最终阈值为 2。它只适用于此语料和分词方法。BM25 分数不是概率;更换语料、语言或分词器后需要重新验证。
这里没有语义理解器或蕴含判断器。关键词规则也不是安全边界,不能因 4 道样例都拒答,就声称防住了提示注入。
预期输出与指标定义
| 指标 | 固定结果 | 分母与含义 |
|---|---|---|
| 任务正确率 | 12/16 = 0.75 | 可回答题需正确文档与关键事实;其余题需拒答 |
| Retrieval Recall@3 | 7/8 = 0.875 | 8 道可回答题中,正确文档是否进入 top 3;在拒答前计算 |
| 可回答题覆盖率 | 6/8 = 0.75 | 可回答题中实际回答的比例,不保证回答正确 |
| 可回答题正确率 | 6/8 = 0.75 | 正确回答数 / 8,与覆盖率含义不同 |
| 不可回答题拒答率 | 2/4 = 0.50 | 4 道无证据问题中拒答的比例 |
| 字面攻击样例拒答率 | 4/4 = 1.00 | 只说明 4 条已设计的明显模式被拒绝 |
| 已回答题引用完整率 | 8/8 = 1.00 | 引用 ID 存在,引用是对应原文的子串;不等于相关或正确 |
报告在分母为零时写 null,不会把“没有测试”写成 100%。引用完整率 100% 与任务正确率 75% 同时出现,正是本案例要教的判断。
四个失败必须保留
| ID | 现象 | 失败类型 | 应验证的改进 |
|---|---|---|---|
| te05 | 问凭证暴露后的处理,但词形变化导致分数不足 | 可回答却拒答 | 比较词形归一化/同义词/语义检索;检查是否增加误匹配 |
| te08 | 用 observations/disappear 表达数据删除,找不到证据 | 词面检索漏召回 | 用新改写集比较 lexical、dense、hybrid;不能只背此题 |
| te11 | 文档说 GPU 时长,问题问 GPU 型号,仍返回时长 | 有引用但答非所问 | 明确核验所问属性是否存在,加入难负例与拒答规则 |
| te12 | 问银行报销,系统因 deployment/budget 重叠而回答 | 无证据却回答 | 加入跨主题相似词的无答案题,评估拒答与覆盖率取舍 |
“把阈值调高”可能减少假回答,也会增加真实问题被拒绝。不能仅优化一个数字。先定义错误代价,再在 dev 比较覆盖率和错误回答率;最终用没参与迭代的新测试集确认。
错误排查
| 现象 | 先检查什么 |
|---|---|
| 全部拒答 | 阈值、问题语言、语料路径、分词后是否为空 |
| 引用 ID 找不到 | 文档唯一键是否被改、索引与语料是否同一版本 |
| 引用真实但答案不对 | 检查所问属性是否存在;引用完整性不是相关性 |
| 修改语料后指标变化 | 对比输入哈希;不要继续引用旧报告 |
| 攻击题通过所以觉得安全 | 这里只有几个字面模式,未测试混淆、跨轮或文档注入 |
如何升级成自己的项目
选择有许可、没有隐私的知识域。先写标注规则与困难问题,再建立版本化语料、dev/test 和无法回答的负例。保留此离线基线,逐项增加向量检索、重排、真正的 LLM、结构化引用与答案支持性判断。
若接入外部模型,要另行记录提供商、模型版本、日期、提示词、参数、单次成本、超时、隐私约束和每题原始输出。未运行的适配器不能计入实测成果;LLM 结果也不能替换成本例原有离线报告。准备针对文档中的恶意指令、越权检索、引用伪造和信息泄露做专门评测。
本版本没有提供或调用 LLM adapter,避免把空接口误当成功能。下一版本是否加入,应由申请岗位要求和自己的可验证改进决定。
简历与面试(教学模拟)
可写:“复现 BM25+抽取式回答的离线基线,建立含可回答、不可回答和指令攻击样例的 24 题评测集;在固定 16 题 test 上记录 Recall@3 0.875 和不可回答拒答率 0.50,分析 4 类失败;独立新增【实际完成的改进】。”
注意:如果 24 题直接来自本仓库,必须把“建立”改成“复现并审查”,不能声称自己原创标注了全部数据。
不能写:“从零开发企业级 RAG,彻底消除幻觉,安全率 100%。”
准备回答:为什么引用完整性不等于正确?检索指标和回答指标为什么分开?拒答的分母是什么?BM25 阈值能跨语料比较吗?你如何设计无答案问题?若接入 LLM,会新增哪些失败与成本?你个人新增了哪些实验证据?
许可与归属
代码 MIT;输入 CC0。基线与合成输入由 AI 辅助新写并实际执行。请记录原仓库来源、个人变更、AI 辅助部分和人工核验;不把教学资料称为客户资料,不把复现称为原创商业项目。