打开章节导航攻略章节00|先把目标缩到一个能验证的岗位01|按实际工作区分 AI 岗位02|从自己的基础,走到一条可申请路线03|把已有经历变成可信证据04|做一个可验证的技术项目05|把项目变成 GitHub、简历与面试证据06|技术面试:按岗位练,不背一份万能题库07|地区、毕业时间与雇主资格分别核查08|定向申请:用同一套证据回答这条 JD09|用投递和面试记录,定位下一步技术案例:从“跑得动”到“证据可信”技术项目01|把一个小模型做成可信的实验02|把模型交给一个真实 HTTP 接口03|有引用,不代表回答正确三个能运行、能解释、能查错的技术样例教学输入的数据许可与来源模板01|岗位研究与申请前核验02|能力差距表03|学习行动与每周交付04|技术项目 README 模板05|实验与评测记录06|失败样本与根因验证07|中文与英文简历:三条路线的教学样例08|技术面试自查与模拟题09|行为面试:STAR与结果边界10|投递台账与招聘窗口11|面试复盘与问题定位12|个人贡献、上游来源与AI辅助声明13|资格、时间与地点确认:英文询问信14|数据卡与模型/系统卡可编辑模板包原始研究与来源覆盖缺口与更新队列真实雇主 JD 研究表JD 来源核验记录地区资格与招聘时间:分开核查新旧仓库内容边界与只读审查技术方法来源
可编辑模板 · 资料核验 2026-11-13
本页目录 · 5 节

06|失败样本与根因验证

版本:2026-11-13。用途:把“模型不行”拆成可复现现象、可检验原因和下一步实验。

填写说明

一条失败一张卡。先确认预期答案和评测规则是否正确,再判断数据、模型、检索、服务或指标的问题。错误归因是待验证假设,不能因为关键词看起来相关就宣布找到了因果原因。

保留修复前的输入和结果。修复后同时跑旧失败、正常样本与新独立测试;只修好已知失败,叫回归修复,不直接叫泛化提升。

空白可复制结构

失败 ID:【填写】。关联实验:【填写】。发现方式:【自动评测/人工检查/用户反馈】。是否教学模拟:【填写】。

项目记录
最小输入【去标识、可复现】
预期输出及依据【标签规则/文档/协议】
实际输出【原样记录关键字段】
影响【误分类/错误回答/拒答/超时等】
数据与代码版本【链接】
最小复现命令【填写】

假设对照

候选原因支持观察反对观察如何区分验证结果
数据或标签定义【填写】【填写】【实验】【未做/支持/否定】
方法或特征【填写】【填写】【实验】【填写】
系统或接口【填写】【填写】【实验】【填写】
评测实现【填写】【填写】【手算/独立脚本】【填写】

修复动作:【只改什么】。为什么不是直接扩大模型:【证据】。回归集:【路径】。新测试集:【路径/尚无】。副作用:【正常样本或成本变化】。未解决:【明确说明】。

教学模拟示范

本仓库检索失败报告中,te11询问GPU型号,语料只说明计算预算。系统返回了真实引用,却没有回答所问内容。

可观察事实:“引用逐字存在,但问题不可回答,系统仍作答。”原因假设:“词面相似度未检验答案是否覆盖问题中的型号属性。”下一步是在开发集加入不同属性的不可回答问题,比较拒答策略;保留原测试作为回归,不把对它的修复称为独立泛化证据。

验收标准

  • 失败有最小输入,别人能复现。
  • 事实、解释假设与已验证结论分开。
  • 至少比较两个可能原因,或说明为何证据已足以排除其他层。
  • 修复有回归检查及副作用记录;未修复也能解释限制。

作者:AI酋长Andy|星觉科技 · 北京 · 微信号:AIPMAndy

原始文档:templates/06-failure-analysis.md