技术案例:从“跑得动”到“证据可信”
作者:AI酋长Andy · 星觉科技 · 北京 · 微信号:AIPMAndy 版本与验收日期:2026-11-13。
三个案例全部使用本项目新写代码和合成输入,属于教学模拟。没有真实客户、商业 KPI、用户量、薪资或 Offer 结果。它们分别展示实验、工程、应用三个方向的基础证据结构。完整运行说明在 examples。
一、先确定你要展示的岗位能力
| 岗位方向 | 面试官需要看到的证据 | 对应案例 | 之后仍需补足 |
|---|---|---|---|
| 算法 / 机器学习 | 数据划分、合理基线、指标、实验选择、失败归因 | 工单文本分类实验 | 对应领域数学、现代 ML 方法、真实数据、研究贡献;研究岗可能需要论文 |
| AI 工程 / MLE / 模型服务 | 可交付模型、接口契约、错误处理、测试、测量 | 本地 HTTP 模型服务 | 部署、安全、监控、资源调度、负载与成本 |
| AI 应用工程 | 检索、证据、拒答、任务评测、产品边界 | 带引用的离线检索应用 | 真正的模型调用、复杂数据、安全、多轮状态与生产集成 |
岗位要求必须以雇主 JD 为准。做完这些练习不自动满足招聘门槛;它们让读者先有一组能复现、能被追问的材料。
二、统一运行与目录
在仓库根目录,Python 3.10+,无需安装依赖:
bashpython3 examples/run_all.py
脚本先跑三个案例,再跑 18 项风险单元测试,最后核对固定输入的预期指标。成功标志是 ALL_EXAMPLES_ACCEPTED。本次实际环境为 Python 3.12.14、Linux。第二个案例确实启动本机 HTTP 服务并发送请求,不是函数调用伪装成接口测试。
| 输入 / 输出 | 文件 |
|---|---|
| 分类输入 | examples/01_ml_experiment/data/tickets.jsonl |
| 分类实验与模型 | examples/01_ml_experiment/reports/evaluation.json、model.json |
| HTTP 验收 | examples/02_model_service/reports/verification.json |
| 检索输入 | examples/03_grounded_retrieval/data/corpus.jsonl、questions.jsonl |
| 检索评测 | examples/03_grounded_retrieval/reports/evaluation.json |
| 固定验收值 | examples/expected_metrics.json |
| 总验收记录 | examples/verification-summary.json |
报告记录输入哈希、方法、运行环境、每题结果与失败样本。运行命令会重新生成报告;延迟会改变,固定算法指标应一致。若改变方法或输入,必须新建实验记录,不能偷偷改“预期值”来掩盖失败。
三、案例 A:小模型也能检验实验素养
问题与输入
把英文工单分为账号访问、账单、技术故障三类。输入 51 条手工合成工单,固定分成 train 30、dev 9、test 12。不是客户数据,也不是随机代表性样本。
方法
代码自己实现多项式朴素贝叶斯。词表只从 train 建立;比较 alpha 为 0.25、1、2,以及 unigram / unigram+bigram。按 dev macro-F1 选择,test 仅用于最后报告。并设置“始终预测最多类别”与“删掉全部文本特征”两个对照。
数据加载时检查重复 ID、规范化后相同文本,训练函数拒绝接受 dev/test。这个检查不能发现同一用户、同一事件、近义改写等语义泄漏,真实项目还要按来源和时间设计划分。
实际结果
选中 alpha 0.25、unigram。test 正确 10/12,accuracy 0.833333,macro-F1 0.832011;多数类基线 macro-F1 0.166667。报告有各类别 precision/recall/F1 与混淆矩阵,不能只展示准确率。
仅 12 个合成测试样本,不能推断真实业务效果。模型输出的归一化概率未校准,不代表可靠程度。
两个错误
“I cannot access my refund receipt”被分到账号访问,标注为账单。“The invoice page spins forever”被分到账单,标注为技术故障。前者涉及标签边界,后者暴露对关键词的依赖。
下一步不是盲目换大模型。先写清“访问某个账单页面失败”到底由谁处理,再收集同类难例,比较改进。对已看过的 test 修补,只能叫回归修复;泛化结论应使用新测试集。
面试讲解顺序
“我先把任务和标签边界写清。词表只从训练集建立,开发集选择参数,测试集只做报告。简单模型在这个合成集上超过固定类别基线,但两个错误说明词面模型没有理解事件关系。这个结果只证明实验流程能复现,不证明商业可用。我的独立修改是【实际 diff】。”
追问练习:为什么 macro-F1?数据重复检查有什么盲区?是否该允许多标签?什么叫参数选择泄漏?如何在提高覆盖率和降低错误成本间取舍?
四、案例 B:模型服务的证据必须来自真实请求
输入与接口
加载案例 A 的可读 JSON 模型,计算文件哈希作为 model_id。提供 GET /health 和 POST /predict。请求只能包含 texts,长度 1–16,每条最多 1,000 字符,总请求体最多 16,384 字节。返回按输入顺序排列。
只监听 127.0.0.1。无已知词、空白、错误类型、额外字段会被拒绝。批量中任意一条无已知词时拒绝整批,是本例明确选择的接口语义。
实际验收
真实 HTTP 验收共 14 项,含有效批处理和顺序、破损 JSON、输入类型、边界、未知字段、无已知词、错误 Content-Type、请求过大、未知路由,以及 4 线程发送 20 次请求。
另外记录暖机 5 次后 40 次串行本地 HTTP 延迟,保留原始毫秒样本,并计算最近秩 p50/p95。最新数值在报告中。低负载本机小模型测量不说明生产吞吐或公网延迟;4 线程 20 次请求通过也不说明服务容量。
明确未完成的部分
该服务没有 TLS、身份认证、限流、线程数上限、真正的推理取消、生产观测或灾备。实现了请求体读取超时,不等于模型超时。411 与 408 分支未在自动 HTTP 套件中覆盖。
Python 官方不建议将 http.server 用于生产(本次核验 2026-11-13)。因此本例默认只在本机运行。若目标 JD 强调生产系统,要补部署框架、资源控制、负载测试、安全与版本切换证据。
面试追问
模型文件变了但接口没变,如何发现?只预测一类也可能健康检查通过,怎么办?为什么拒绝整批而非逐项返回?请求超时后推理是否仍在消耗资源?你如何证明 p95 的计算方式正确?
五、案例 C:把“有引用”与“答对了”拆开
输入与方法
8 篇虚构实验室文档,24 道问题,dev 8、test 16。test 含 8 道可回答、4 道不可回答、4 道明确带指令攻击模式的问题。使用 BM25 检索、完整段落抽取、分数阈值拒答与字面模式拦截。
这不是 LLM。本例没有向量模型、生成模型或付费接口,没有声称评估了真实大模型。选用离线方法是为了先把检索、引用、拒答和指标的关系做透明。
实际结果
| 指标 | 数值 | 说明 |
|---|---|---|
| 任务正确率 | 12/16 = 0.75 | 不同题型采用各自正确性规则 |
| Recall@3 | 7/8 = 0.875 | 拒答前,可回答题的正确文档是否召回 |
| 可回答题覆盖率 | 6/8 = 0.75 | 实际回答比例,不保证正确 |
| 可回答题正确率 | 6/8 = 0.75 | 本例恰与覆盖率相等,定义仍不同 |
| 不可回答题拒答率 | 2/4 = 0.50 | 一半无证据问题仍被回答 |
| 明显指令样例拒答率 | 4/4 = 1.00 | 只覆盖四条字面模式,不能推广为安全能力 |
| 已回答题引用完整率 | 8/8 = 1.00 | 引用来自原文,不证明回答相关 |
失败分析
两个问题因为词形和改写没有足够匹配而被拒绝。另两个问题提到 GPU 型号、银行报销,但文档只有 GPU 时间预算、部署/预算信息,系统仍抽取了相关词重叠的段落。引用是真的,所问事实仍然不存在。
提高阈值可能减少误答,但也会增加误拒。需要分别观察召回、可回答覆盖率、错误回答与拒答;不能用一个“准确率”替代全部判断。
如何继续
先扩充困难负例与标注规则,再比较词形处理、语义检索、混合检索或答案支持性判断。若加入 LLM,独立记录模型版本、提示词、日期、参数、成本与原始响应,重新评估引用伪造、越权检索和文档注入。没有实际运行的适配器不计入成果。
六、如何变成 GitHub、简历与面试证据
GitHub 首屏应让陌生人看到:问题、适用岗位、运行命令、输入来源、基线和改进、最新结果、失败、限制、许可与贡献。最短跑通命令不能依赖私人数据或未说明的密钥。
简历只写自己完成的增量。若直接使用本仓库,写“复现并审查教学基线”;只有真正新增了数据、代码或评测,才能写“设计/实现/建立”,并附可核对的提交和报告。数字必须带上下文:12 个合成测试样本、40 次回环请求、16 道手工问题,与线上业务指标有不同含义。
使用 贡献记录模板,分清上游、个人工作、AI 辅助和人工验收。免费资料可以直接复用,但不允许把复制教程包装成原创客户项目。
七、完成后的自查
- 能从干净 checkout 跑通完整输入与命令。
- 能解释数据来源、许可、划分方式和泄漏风险。
- 有一个合理基线;选择参数时没有使用最终 test。
- 知道每个指标的分母、零分母处理和适用范围。
- 至少讲清一个失败、一个限制和一个尚未验证的假设。
- 区分本机测量、测试环境、真实生产;没有虚构用户量或业务收益。
- 能指出个人修改与 AI 辅助,保留具体提交与验收记录。
- 对照目标 JD 判断下一步,而不是机械叠加工具名称。