# 05｜实验与评测记录

版本：2026-11-13。用途：让每一个性能数字可追到输入、代码、指标定义和选择过程。

## 填写说明

先写假设和指标，再运行实验。训练数据、开发数据、测试数据的用途不能互换；已经反复检查和据此修改的 test 应承认为回归集，新的泛化结论需要新测试数据。

每次实验保存一个不可混淆的 ID。失败和负结果也保留。不要因为小样本数字漂亮，就写成真实业务提升。对时延同时记录机器、请求模式、预热、样本数和测量范围。

## 空白可复制结构

实验 ID：【填写】。日期：【填写】。作者：【填写】。关联问题/目标 JD：【填写】。

| 可复现信息 | 内容 |
| --- | --- |
| Git提交 / 未提交改动 | 【SHA与diff记录】 |
| 数据版本与哈希 | 【路径、SHA-256、来源】 |
| 环境 / 依赖 | 【版本】 |
| 随机种子 | 【数值/无随机过程】 |
| train/dev/test规模与分组规则 | 【填写】 |
| 假设 | 【可被否定的一句话】 |
| 基线与本次改动 | 【只改变什么，保持什么】 |
| 参数选择规则 | 【只根据什么数据选择】 |
| 完整运行命令 | 【填写】 |

### 指标定义与结果

| 指标 | 分子 / 分母或计算规则 | 评测切片 | 基线 | 本次 | 单位 | 结果文件 |
| --- | --- | --- | --- | --- | --- | --- |
| 【填写】 | 【含0分母约定】 | 【整体/类别/来源】 | 【填写】 | 【填写】 | 【填写】 | 【链接】 |

拒答类任务另记：可回答总数【】、正确回答数【】、错误回答数【】、错误拒答数【】；不可回答总数【】、正确拒答数【】、错误作答数【】。引用存在不代表回答相关。

性能任务另记：机器【】、本地/网络【】、预热【】、样本数【】、串行/并发【】、输入大小【】、p50/p95定义【】、是否包含客户端开销【】。

### 结论

观察：【只写数据支持的结果】。解释假设：【尚未被证明的原因】。未解决的失败：【ID列表】。代价：【速度/资源/复杂度】。下一次检验：【只改一个因素】。能否发布主张：【可以写什么，不能写什么】。

## 教学模拟示范

本仓库[固定分类报告](../examples/01_ml_experiment/reports/evaluation.json)包含30/9/12划分；12条合成测试中10条正确，accuracy为0.833333，macro-F1为0.832011，存在2条失败。可以说“在这份固定合成测试上得到这些结果”；不能说“企业客服分类已达到83%”。

模型服务的时延随机器变化，因此本模板不预填固定p95，也不把单机串行请求速率当作生产吞吐量。

## 验收标准

- 同一主张能找到输入哈希、代码版本、运行命令和逐样本结果。
- 参数选择不使用最终测试集；若已污染，明确说明。
- 每个比例写清分母；不把小样本差异自动当显著提升。
- 报告同时列失败、成本和适用边界。

作者：AI酋长Andy｜星觉科技 · 北京 · 微信号：AIPMAndy  
