05|实验与评测记录
版本:2026-11-13。用途:让每一个性能数字可追到输入、代码、指标定义和选择过程。
填写说明
先写假设和指标,再运行实验。训练数据、开发数据、测试数据的用途不能互换;已经反复检查和据此修改的 test 应承认为回归集,新的泛化结论需要新测试数据。
每次实验保存一个不可混淆的 ID。失败和负结果也保留。不要因为小样本数字漂亮,就写成真实业务提升。对时延同时记录机器、请求模式、预热、样本数和测量范围。
空白可复制结构
实验 ID:【填写】。日期:【填写】。作者:【填写】。关联问题/目标 JD:【填写】。
| 可复现信息 | 内容 |
|---|---|
| Git提交 / 未提交改动 | 【SHA与diff记录】 |
| 数据版本与哈希 | 【路径、SHA-256、来源】 |
| 环境 / 依赖 | 【版本】 |
| 随机种子 | 【数值/无随机过程】 |
| train/dev/test规模与分组规则 | 【填写】 |
| 假设 | 【可被否定的一句话】 |
| 基线与本次改动 | 【只改变什么,保持什么】 |
| 参数选择规则 | 【只根据什么数据选择】 |
| 完整运行命令 | 【填写】 |
指标定义与结果
| 指标 | 分子 / 分母或计算规则 | 评测切片 | 基线 | 本次 | 单位 | 结果文件 |
|---|---|---|---|---|---|---|
| 【填写】 | 【含0分母约定】 | 【整体/类别/来源】 | 【填写】 | 【填写】 | 【填写】 | 【链接】 |
拒答类任务另记:可回答总数【】、正确回答数【】、错误回答数【】、错误拒答数【】;不可回答总数【】、正确拒答数【】、错误作答数【】。引用存在不代表回答相关。
性能任务另记:机器【】、本地/网络【】、预热【】、样本数【】、串行/并发【】、输入大小【】、p50/p95定义【】、是否包含客户端开销【】。
结论
观察:【只写数据支持的结果】。解释假设:【尚未被证明的原因】。未解决的失败:【ID列表】。代价:【速度/资源/复杂度】。下一次检验:【只改一个因素】。能否发布主张:【可以写什么,不能写什么】。
教学模拟示范
本仓库固定分类报告包含30/9/12划分;12条合成测试中10条正确,accuracy为0.833333,macro-F1为0.832011,存在2条失败。可以说“在这份固定合成测试上得到这些结果”;不能说“企业客服分类已达到83%”。
模型服务的时延随机器变化,因此本模板不预填固定p95,也不把单机串行请求速率当作生产吞吐量。
验收标准
- 同一主张能找到输入哈希、代码版本、运行命令和逐样本结果。
- 参数选择不使用最终测试集;若已污染,明确说明。
- 每个比例写清分母;不把小样本差异自动当显著提升。
- 报告同时列失败、成本和适用边界。
作者:AI酋长Andy|星觉科技 · 北京 · 微信号:AIPMAndy