打开章节导航攻略章节00|先把目标缩到一个能验证的岗位01|按实际工作区分 AI 岗位02|从自己的基础,走到一条可申请路线03|把已有经历变成可信证据04|做一个可验证的技术项目05|把项目变成 GitHub、简历与面试证据06|技术面试:按岗位练,不背一份万能题库07|地区、毕业时间与雇主资格分别核查08|定向申请:用同一套证据回答这条 JD09|用投递和面试记录,定位下一步技术案例:从“跑得动”到“证据可信”技术项目01|把一个小模型做成可信的实验02|把模型交给一个真实 HTTP 接口03|有引用,不代表回答正确三个能运行、能解释、能查错的技术样例教学输入的数据许可与来源模板01|岗位研究与申请前核验02|能力差距表03|学习行动与每周交付04|技术项目 README 模板05|实验与评测记录06|失败样本与根因验证07|中文与英文简历:三条路线的教学样例08|技术面试自查与模拟题09|行为面试:STAR与结果边界10|投递台账与招聘窗口11|面试复盘与问题定位12|个人贡献、上游来源与AI辅助声明13|资格、时间与地点确认:英文询问信14|数据卡与模型/系统卡可编辑模板包原始研究与来源覆盖缺口与更新队列真实雇主 JD 研究表JD 来源核验记录地区资格与招聘时间:分开核查新旧仓库内容边界与只读审查技术方法来源
技术项目 · 资料核验 2026-11-13
本页目录 · 10 节

01|把一个小模型做成可信的实验

作者:AI酋长Andy · 星觉科技 · 北京 · 微信号:AIPMAndy 版本:2026-11-13。教学模拟;没有真实客户、公司 KPI 或就业结果。

要解决的问题

把英文工单分到 access(账号访问)、billing(账单)、technical(技术故障)。这里的目标是展示实验判断力:如何不泄漏数据,如何选择方法,如何发现模型只记住了关键词。

该样例适合 ML/MLE 入门者练习评测。它不能替代研究论文、真实数据上的研究贡献,也不是训练大语言模型。

完整输入

data/tickets.jsonl 含 51 条手工编排的英文合成工单:训练 30 条、开发集 9 条、测试集 12 条。三种标签在每一份数据中都有样本;没有姓名、邮箱、真实工单或商业数据。

json{"id":"tr01","split":"train","label":"access","text":"I forgot my password and cannot sign in"}

id 是唯一键,split 固定用途,label 是人工预设类别,text 是输入。数据是为教学设计的,并非从总体随机抽样,因此结果不代表现实工单的表现。

运行步骤

在仓库根目录运行,Python 3.10+,无需安装包:

bashpython3 examples/01_ml_experiment/run.py
python3 -m unittest discover -s examples/tests -v

第二条测试命令也检查其他项目的输入与评测逻辑,不启动外网连接。单独运行实验后,打开 reports/evaluation.json 与 reports/failures.json。

方法与选择过程

实现从零写的多项式朴素贝叶斯。将文本转小写,按英文字母/数字分词;词表只从 train 建立。对每个类别,累加类别先验的对数和各词的平滑条件概率对数。alpha 控制加法平滑,防止未见词令概率为零。输出中的概率仅是模型归一化分数,没有经过校准。

实验遍历 alpha ∈ {0.25, 1, 2},并比较 unigram 与 unigram+bigram。只根据 dev 的 macro-F1 选参数;同分时保留先出现的较简单配置。test 不参与选择。每种配置的 dev 结果都在报告里。

对照有两项:始终预测训练集中最多的类,以及删除全部词特征、只保留类先验。训练集三类数量相等,固定顺序使基线预测 access。后者是一个强消融:说明文本特征提供了多少信息,不等于已解释每个特征的因果贡献。

数据读取器拦截重复 ID 和规范化后相同的文本,训练函数拒绝混入 dev/test。但这只能阻止明显重复。近义改写、同一用户的多条记录、同一时间事件和模板来源仍可能泄漏;真实任务应按用户/文档/时间分组划分,并检查采集过程。

预期输出与验收

json{"project":"01_ml_experiment","selected":{"alpha":0.25,"bigrams":false},"test":{"n":12,"accuracy":0.833333,"macro_f1":0.832011},"majority_macro_f1":0.166667,"failures":2}
验收项固定样例结果
训练 / dev / test30 / 9 / 12
选择的参数alpha 0.25,unigram
test 正确数10 / 12
accuracy0.833333
macro-F10.832011
majority macro-F10.166667
失败数2

accuracy 是正确题数 / 总题数。每类 F1 由 precision、recall 计算,macro-F1 对预定义的三类等权平均。没有分母时该类 precision/recall 记 0,并保留该类;测试中验证了这个约定。具体混淆矩阵见报告,不用单个总体数字掩盖类别差异。

model.json 可以序列化和重新载入。报告记录输入 SHA-256、Python 版本、划分大小、dev 各配置、test 逐题预测。统一验收运行 python3 examples/run_all.py。

两个失败怎么讲

样本标注 → 预测可观察现象下一步验证
te08: I cannot access my refund receiptbilling → access“access” 与退款语境冲突;单一标签定义也可能有歧义写清路由标注规则,另采集“访问失败+账单对象”的边界样本
te11: The invoice page spins forevertechnical → billing模型被 invoice 带偏,没有充分理解页面卡死增补多对象故障描述,比较词组/字符特征;使用新 dev,保留旧结果

这些是对错误的解释假设,不是已经证明的因果结论。不能先看 test 再定向补训练样本,随后把同一份 test 上的提升当作泛化提升。若为了学习这么做,明确标“针对已知错误的回归修复”,另建独立测试集。

错误排查

现象检查处理
duplicate normalized text / leakage risk是否复制了不同 split 的文本恢复原始输入;真实数据按来源去重并重新划分
train() accepts the training split only传入列表是否包含 dev/test只把 split == train 的记录交给训练函数
指标与预期不同数据哈希、代码 diff、Python 版本先还原基线,再单因素实验;不直接改验收值
全是同一类输入是否全是训练词表外词,或中文本例只支持小英文词表;先记录 OOV,不能当正常置信度
觉得分数高所以“可上线”只有 12 条测试,且为合成数据收集有许可的独立数据、评估标签质量与错误成本

形成自己的项目

先选一个具有真实边界的问题,比如公开可用文本的多类分类。核对许可,写数据卡,设计人群/时间划分,比较一个简单基线与一个改进。加入不平衡类、分布变化、置信度校准和人工复核策略。记录失败,不只记录最优分数。

如果申请研究岗,需要提出可被推翻的研究假设,复现论文基线,控制变量,并用足够数据和多次实验支持结论。这个小练习只是实验结构的底稿。

简历与面试(教学模拟,按实际完成内容修改)

可写:“复现并审查一个 51 条合成工单的文本分类基线,按 train/dev/test 隔离选参;记录 12 条测试上的 macro-F1 0.832 和 2 个边界错误,并新增【自己完成的具体改动】。”

不能写:“为大型企业搭建智能客服,分类准确率 83%,提升业务效率 50%。”本例没有这类证据。

准备回答:为什么用 macro-F1?重复样本检查漏掉什么?概率为什么不等于可信程度?如果拒答会怎样改变覆盖率?两个错误分别是模型问题还是标签定义问题?你写了哪些行、AI 辅助了哪些部分、你用什么测试验收?

许可与个人贡献

代码 MIT;数据 CC0,见 数据说明。本基线由 AI 辅助新写并实际执行。读者在自己的贡献记录中把“原仓库基线”“本人新增实验”“AI 提供的草稿”“人工核验”分开。仅运行已有脚本不能描述为独立从零开发。

原始文档:examples/01_ml_experiment/README.md