06|失败样本与根因验证
版本:2026-11-13。用途:把“模型不行”拆成可复现现象、可检验原因和下一步实验。
填写说明
一条失败一张卡。先确认预期答案和评测规则是否正确,再判断数据、模型、检索、服务或指标的问题。错误归因是待验证假设,不能因为关键词看起来相关就宣布找到了因果原因。
保留修复前的输入和结果。修复后同时跑旧失败、正常样本与新独立测试;只修好已知失败,叫回归修复,不直接叫泛化提升。
空白可复制结构
失败 ID:【填写】。关联实验:【填写】。发现方式:【自动评测/人工检查/用户反馈】。是否教学模拟:【填写】。
| 项目 | 记录 |
|---|---|
| 最小输入 | 【去标识、可复现】 |
| 预期输出及依据 | 【标签规则/文档/协议】 |
| 实际输出 | 【原样记录关键字段】 |
| 影响 | 【误分类/错误回答/拒答/超时等】 |
| 数据与代码版本 | 【链接】 |
| 最小复现命令 | 【填写】 |
假设对照
| 候选原因 | 支持观察 | 反对观察 | 如何区分 | 验证结果 |
|---|---|---|---|---|
| 数据或标签定义 | 【填写】 | 【填写】 | 【实验】 | 【未做/支持/否定】 |
| 方法或特征 | 【填写】 | 【填写】 | 【实验】 | 【填写】 |
| 系统或接口 | 【填写】 | 【填写】 | 【实验】 | 【填写】 |
| 评测实现 | 【填写】 | 【填写】 | 【手算/独立脚本】 | 【填写】 |
修复动作:【只改什么】。为什么不是直接扩大模型:【证据】。回归集:【路径】。新测试集:【路径/尚无】。副作用:【正常样本或成本变化】。未解决:【明确说明】。
教学模拟示范
本仓库检索失败报告中,te11询问GPU型号,语料只说明计算预算。系统返回了真实引用,却没有回答所问内容。
可观察事实:“引用逐字存在,但问题不可回答,系统仍作答。”原因假设:“词面相似度未检验答案是否覆盖问题中的型号属性。”下一步是在开发集加入不同属性的不可回答问题,比较拒答策略;保留原测试作为回归,不把对它的修复称为独立泛化证据。
验收标准
- 失败有最小输入,别人能复现。
- 事实、解释假设与已验证结论分开。
- 至少比较两个可能原因,或说明为何证据已足以排除其他层。
- 修复有回归检查及副作用记录;未修复也能解释限制。
作者:AI酋长Andy|星觉科技 · 北京 · 微信号:AIPMAndy