打开章节导航攻略章节00|先把目标缩到一个能验证的岗位01|按实际工作区分 AI 岗位02|从自己的基础,走到一条可申请路线03|把已有经历变成可信证据04|做一个可验证的技术项目05|把项目变成 GitHub、简历与面试证据06|技术面试:按岗位练,不背一份万能题库07|地区、毕业时间与雇主资格分别核查08|定向申请:用同一套证据回答这条 JD09|用投递和面试记录,定位下一步技术案例:从“跑得动”到“证据可信”技术项目01|把一个小模型做成可信的实验02|把模型交给一个真实 HTTP 接口03|有引用,不代表回答正确三个能运行、能解释、能查错的技术样例教学输入的数据许可与来源模板01|岗位研究与申请前核验02|能力差距表03|学习行动与每周交付04|技术项目 README 模板05|实验与评测记录06|失败样本与根因验证07|中文与英文简历:三条路线的教学样例08|技术面试自查与模拟题09|行为面试:STAR与结果边界10|投递台账与招聘窗口11|面试复盘与问题定位12|个人贡献、上游来源与AI辅助声明13|资格、时间与地点确认:英文询问信14|数据卡与模型/系统卡可编辑模板包原始研究与来源覆盖缺口与更新队列真实雇主 JD 研究表JD 来源核验记录地区资格与招聘时间:分开核查新旧仓库内容边界与只读审查技术方法来源
可编辑模板 · 资料核验 2026-11-13
本页目录 · 6 节

05|实验与评测记录

版本:2026-11-13。用途:让每一个性能数字可追到输入、代码、指标定义和选择过程。

填写说明

先写假设和指标,再运行实验。训练数据、开发数据、测试数据的用途不能互换;已经反复检查和据此修改的 test 应承认为回归集,新的泛化结论需要新测试数据。

每次实验保存一个不可混淆的 ID。失败和负结果也保留。不要因为小样本数字漂亮,就写成真实业务提升。对时延同时记录机器、请求模式、预热、样本数和测量范围。

空白可复制结构

实验 ID:【填写】。日期:【填写】。作者:【填写】。关联问题/目标 JD:【填写】。

可复现信息内容
Git提交 / 未提交改动【SHA与diff记录】
数据版本与哈希【路径、SHA-256、来源】
环境 / 依赖【版本】
随机种子【数值/无随机过程】
train/dev/test规模与分组规则【填写】
假设【可被否定的一句话】
基线与本次改动【只改变什么,保持什么】
参数选择规则【只根据什么数据选择】
完整运行命令【填写】

指标定义与结果

指标分子 / 分母或计算规则评测切片基线本次单位结果文件
【填写】【含0分母约定】【整体/类别/来源】【填写】【填写】【填写】【链接】

拒答类任务另记:可回答总数【】、正确回答数【】、错误回答数【】、错误拒答数【】;不可回答总数【】、正确拒答数【】、错误作答数【】。引用存在不代表回答相关。

性能任务另记:机器【】、本地/网络【】、预热【】、样本数【】、串行/并发【】、输入大小【】、p50/p95定义【】、是否包含客户端开销【】。

结论

观察:【只写数据支持的结果】。解释假设:【尚未被证明的原因】。未解决的失败:【ID列表】。代价:【速度/资源/复杂度】。下一次检验:【只改一个因素】。能否发布主张:【可以写什么,不能写什么】。

教学模拟示范

本仓库固定分类报告包含30/9/12划分;12条合成测试中10条正确,accuracy为0.833333,macro-F1为0.832011,存在2条失败。可以说“在这份固定合成测试上得到这些结果”;不能说“企业客服分类已达到83%”。

模型服务的时延随机器变化,因此本模板不预填固定p95,也不把单机串行请求速率当作生产吞吐量。

验收标准

  • 同一主张能找到输入哈希、代码版本、运行命令和逐样本结果。
  • 参数选择不使用最终测试集;若已污染,明确说明。
  • 每个比例写清分母;不把小样本差异自动当显著提升。
  • 报告同时列失败、成本和适用边界。

作者:AI酋长Andy|星觉科技 · 北京 · 微信号:AIPMAndy

原始文档:templates/05-evaluation-log.md