# 06｜失败样本与根因验证

版本：2026-11-13。用途：把“模型不行”拆成可复现现象、可检验原因和下一步实验。

## 填写说明

一条失败一张卡。先确认预期答案和评测规则是否正确，再判断数据、模型、检索、服务或指标的问题。错误归因是待验证假设，不能因为关键词看起来相关就宣布找到了因果原因。

保留修复前的输入和结果。修复后同时跑旧失败、正常样本与新独立测试；只修好已知失败，叫回归修复，不直接叫泛化提升。

## 空白可复制结构

失败 ID：【填写】。关联实验：【填写】。发现方式：【自动评测/人工检查/用户反馈】。是否教学模拟：【填写】。

| 项目 | 记录 |
| --- | --- |
| 最小输入 | 【去标识、可复现】 |
| 预期输出及依据 | 【标签规则/文档/协议】 |
| 实际输出 | 【原样记录关键字段】 |
| 影响 | 【误分类/错误回答/拒答/超时等】 |
| 数据与代码版本 | 【链接】 |
| 最小复现命令 | 【填写】 |

### 假设对照

| 候选原因 | 支持观察 | 反对观察 | 如何区分 | 验证结果 |
| --- | --- | --- | --- | --- |
| 数据或标签定义 | 【填写】 | 【填写】 | 【实验】 | 【未做/支持/否定】 |
| 方法或特征 | 【填写】 | 【填写】 | 【实验】 | 【填写】 |
| 系统或接口 | 【填写】 | 【填写】 | 【实验】 | 【填写】 |
| 评测实现 | 【填写】 | 【填写】 | 【手算/独立脚本】 | 【填写】 |

修复动作：【只改什么】。为什么不是直接扩大模型：【证据】。回归集：【路径】。新测试集：【路径/尚无】。副作用：【正常样本或成本变化】。未解决：【明确说明】。

## 教学模拟示范

本仓库[检索失败报告](../examples/03_grounded_retrieval/reports/failures.json)中，`te11`询问GPU型号，语料只说明计算预算。系统返回了真实引用，却没有回答所问内容。

可观察事实：“引用逐字存在，但问题不可回答，系统仍作答。”原因假设：“词面相似度未检验答案是否覆盖问题中的型号属性。”下一步是在开发集加入不同属性的不可回答问题，比较拒答策略；保留原测试作为回归，不把对它的修复称为独立泛化证据。

## 验收标准

- 失败有最小输入，别人能复现。
- 事实、解释假设与已验证结论分开。
- 至少比较两个可能原因，或说明为何证据已足以排除其他层。
- 修复有回归检查及副作用记录；未修复也能解释限制。

作者：AI酋长Andy｜星觉科技 · 北京 · 微信号：AIPMAndy  
