打开章节导航攻略章节00|先把目标缩到一个能验证的岗位01|按实际工作区分 AI 岗位02|从自己的基础,走到一条可申请路线03|把已有经历变成可信证据04|做一个可验证的技术项目05|把项目变成 GitHub、简历与面试证据06|技术面试:按岗位练,不背一份万能题库07|地区、毕业时间与雇主资格分别核查08|定向申请:用同一套证据回答这条 JD09|用投递和面试记录,定位下一步技术案例:从“跑得动”到“证据可信”技术项目01|把一个小模型做成可信的实验02|把模型交给一个真实 HTTP 接口03|有引用,不代表回答正确三个能运行、能解释、能查错的技术样例教学输入的数据许可与来源模板01|岗位研究与申请前核验02|能力差距表03|学习行动与每周交付04|技术项目 README 模板05|实验与评测记录06|失败样本与根因验证07|中文与英文简历:三条路线的教学样例08|技术面试自查与模拟题09|行为面试:STAR与结果边界10|投递台账与招聘窗口11|面试复盘与问题定位12|个人贡献、上游来源与AI辅助声明13|资格、时间与地点确认:英文询问信14|数据卡与模型/系统卡可编辑模板包原始研究与来源覆盖缺口与更新队列真实雇主 JD 研究表JD 来源核验记录地区资格与招聘时间:分开核查新旧仓库内容边界与只读审查技术方法来源
完整攻略 · 资料核验 2026-11-13
本页目录 · 20 节

技术案例:从“跑得动”到“证据可信”

作者:AI酋长Andy · 星觉科技 · 北京 · 微信号:AIPMAndy 版本与验收日期:2026-11-13。

三个案例全部使用本项目新写代码和合成输入,属于教学模拟。没有真实客户、商业 KPI、用户量、薪资或 Offer 结果。它们分别展示实验、工程、应用三个方向的基础证据结构。完整运行说明在 examples。

一、先确定你要展示的岗位能力

岗位方向面试官需要看到的证据对应案例之后仍需补足
算法 / 机器学习数据划分、合理基线、指标、实验选择、失败归因工单文本分类实验对应领域数学、现代 ML 方法、真实数据、研究贡献;研究岗可能需要论文
AI 工程 / MLE / 模型服务可交付模型、接口契约、错误处理、测试、测量本地 HTTP 模型服务部署、安全、监控、资源调度、负载与成本
AI 应用工程检索、证据、拒答、任务评测、产品边界带引用的离线检索应用真正的模型调用、复杂数据、安全、多轮状态与生产集成

岗位要求必须以雇主 JD 为准。做完这些练习不自动满足招聘门槛;它们让读者先有一组能复现、能被追问的材料。

二、统一运行与目录

在仓库根目录,Python 3.10+,无需安装依赖:

bashpython3 examples/run_all.py

脚本先跑三个案例,再跑 18 项风险单元测试,最后核对固定输入的预期指标。成功标志是 ALL_EXAMPLES_ACCEPTED。本次实际环境为 Python 3.12.14、Linux。第二个案例确实启动本机 HTTP 服务并发送请求,不是函数调用伪装成接口测试。

输入 / 输出文件
分类输入examples/01_ml_experiment/data/tickets.jsonl
分类实验与模型examples/01_ml_experiment/reports/evaluation.json、model.json
HTTP 验收examples/02_model_service/reports/verification.json
检索输入examples/03_grounded_retrieval/data/corpus.jsonl、questions.jsonl
检索评测examples/03_grounded_retrieval/reports/evaluation.json
固定验收值examples/expected_metrics.json
总验收记录examples/verification-summary.json

报告记录输入哈希、方法、运行环境、每题结果与失败样本。运行命令会重新生成报告;延迟会改变,固定算法指标应一致。若改变方法或输入,必须新建实验记录,不能偷偷改“预期值”来掩盖失败。

三、案例 A:小模型也能检验实验素养

问题与输入

把英文工单分为账号访问、账单、技术故障三类。输入 51 条手工合成工单,固定分成 train 30、dev 9、test 12。不是客户数据,也不是随机代表性样本。

方法

代码自己实现多项式朴素贝叶斯。词表只从 train 建立;比较 alpha 为 0.25、1、2,以及 unigram / unigram+bigram。按 dev macro-F1 选择,test 仅用于最后报告。并设置“始终预测最多类别”与“删掉全部文本特征”两个对照。

数据加载时检查重复 ID、规范化后相同文本,训练函数拒绝接受 dev/test。这个检查不能发现同一用户、同一事件、近义改写等语义泄漏,真实项目还要按来源和时间设计划分。

实际结果

选中 alpha 0.25、unigram。test 正确 10/12,accuracy 0.833333,macro-F1 0.832011;多数类基线 macro-F1 0.166667。报告有各类别 precision/recall/F1 与混淆矩阵,不能只展示准确率。

仅 12 个合成测试样本,不能推断真实业务效果。模型输出的归一化概率未校准,不代表可靠程度。

两个错误

“I cannot access my refund receipt”被分到账号访问,标注为账单。“The invoice page spins forever”被分到账单,标注为技术故障。前者涉及标签边界,后者暴露对关键词的依赖。

下一步不是盲目换大模型。先写清“访问某个账单页面失败”到底由谁处理,再收集同类难例,比较改进。对已看过的 test 修补,只能叫回归修复;泛化结论应使用新测试集。

面试讲解顺序

“我先把任务和标签边界写清。词表只从训练集建立,开发集选择参数,测试集只做报告。简单模型在这个合成集上超过固定类别基线,但两个错误说明词面模型没有理解事件关系。这个结果只证明实验流程能复现,不证明商业可用。我的独立修改是【实际 diff】。”

追问练习:为什么 macro-F1?数据重复检查有什么盲区?是否该允许多标签?什么叫参数选择泄漏?如何在提高覆盖率和降低错误成本间取舍?

四、案例 B:模型服务的证据必须来自真实请求

输入与接口

加载案例 A 的可读 JSON 模型,计算文件哈希作为 model_id。提供 GET /health 和 POST /predict。请求只能包含 texts,长度 1–16,每条最多 1,000 字符,总请求体最多 16,384 字节。返回按输入顺序排列。

只监听 127.0.0.1。无已知词、空白、错误类型、额外字段会被拒绝。批量中任意一条无已知词时拒绝整批,是本例明确选择的接口语义。

实际验收

真实 HTTP 验收共 14 项,含有效批处理和顺序、破损 JSON、输入类型、边界、未知字段、无已知词、错误 Content-Type、请求过大、未知路由,以及 4 线程发送 20 次请求。

另外记录暖机 5 次后 40 次串行本地 HTTP 延迟,保留原始毫秒样本,并计算最近秩 p50/p95。最新数值在报告中。低负载本机小模型测量不说明生产吞吐或公网延迟;4 线程 20 次请求通过也不说明服务容量。

明确未完成的部分

该服务没有 TLS、身份认证、限流、线程数上限、真正的推理取消、生产观测或灾备。实现了请求体读取超时,不等于模型超时。411 与 408 分支未在自动 HTTP 套件中覆盖。

Python 官方不建议将 http.server 用于生产(本次核验 2026-11-13)。因此本例默认只在本机运行。若目标 JD 强调生产系统,要补部署框架、资源控制、负载测试、安全与版本切换证据。

面试追问

模型文件变了但接口没变,如何发现?只预测一类也可能健康检查通过,怎么办?为什么拒绝整批而非逐项返回?请求超时后推理是否仍在消耗资源?你如何证明 p95 的计算方式正确?

五、案例 C:把“有引用”与“答对了”拆开

输入与方法

8 篇虚构实验室文档,24 道问题,dev 8、test 16。test 含 8 道可回答、4 道不可回答、4 道明确带指令攻击模式的问题。使用 BM25 检索、完整段落抽取、分数阈值拒答与字面模式拦截。

这不是 LLM。本例没有向量模型、生成模型或付费接口,没有声称评估了真实大模型。选用离线方法是为了先把检索、引用、拒答和指标的关系做透明。

实际结果

指标数值说明
任务正确率12/16 = 0.75不同题型采用各自正确性规则
Recall@37/8 = 0.875拒答前,可回答题的正确文档是否召回
可回答题覆盖率6/8 = 0.75实际回答比例,不保证正确
可回答题正确率6/8 = 0.75本例恰与覆盖率相等,定义仍不同
不可回答题拒答率2/4 = 0.50一半无证据问题仍被回答
明显指令样例拒答率4/4 = 1.00只覆盖四条字面模式,不能推广为安全能力
已回答题引用完整率8/8 = 1.00引用来自原文,不证明回答相关

失败分析

两个问题因为词形和改写没有足够匹配而被拒绝。另两个问题提到 GPU 型号、银行报销,但文档只有 GPU 时间预算、部署/预算信息,系统仍抽取了相关词重叠的段落。引用是真的,所问事实仍然不存在。

提高阈值可能减少误答,但也会增加误拒。需要分别观察召回、可回答覆盖率、错误回答与拒答;不能用一个“准确率”替代全部判断。

如何继续

先扩充困难负例与标注规则,再比较词形处理、语义检索、混合检索或答案支持性判断。若加入 LLM,独立记录模型版本、提示词、日期、参数、成本与原始响应,重新评估引用伪造、越权检索和文档注入。没有实际运行的适配器不计入成果。

六、如何变成 GitHub、简历与面试证据

GitHub 首屏应让陌生人看到:问题、适用岗位、运行命令、输入来源、基线和改进、最新结果、失败、限制、许可与贡献。最短跑通命令不能依赖私人数据或未说明的密钥。

简历只写自己完成的增量。若直接使用本仓库,写“复现并审查教学基线”;只有真正新增了数据、代码或评测,才能写“设计/实现/建立”,并附可核对的提交和报告。数字必须带上下文:12 个合成测试样本、40 次回环请求、16 道手工问题,与线上业务指标有不同含义。

使用 贡献记录模板,分清上游、个人工作、AI 辅助和人工验收。免费资料可以直接复用,但不允许把复制教程包装成原创客户项目。

七、完成后的自查

  • 能从干净 checkout 跑通完整输入与命令。
  • 能解释数据来源、许可、划分方式和泄漏风险。
  • 有一个合理基线;选择参数时没有使用最终 test。
  • 知道每个指标的分母、零分母处理和适用范围。
  • 至少讲清一个失败、一个限制和一个尚未验证的假设。
  • 区分本机测量、测试环境、真实生产;没有虚构用户量或业务收益。
  • 能指出个人修改与 AI 辅助,保留具体提交与验收记录。
  • 对照目标 JD 判断下一步,而不是机械叠加工具名称。

原始文档:docs/technical-case-studies.md