# 技术案例：从“跑得动”到“证据可信”

作者：AI酋长Andy · 星觉科技 · 北京 · 微信号：AIPMAndy  
版本与验收日期：2026-11-13。

三个案例全部使用本项目新写代码和合成输入，属于教学模拟。没有真实客户、商业 KPI、用户量、薪资或 Offer 结果。它们分别展示实验、工程、应用三个方向的基础证据结构。完整运行说明在 [examples](../examples/README.md)。

## 一、先确定你要展示的岗位能力

| 岗位方向 | 面试官需要看到的证据 | 对应案例 | 之后仍需补足 |
|---|---|---|---|
| 算法 / 机器学习 | 数据划分、合理基线、指标、实验选择、失败归因 | 工单文本分类实验 | 对应领域数学、现代 ML 方法、真实数据、研究贡献；研究岗可能需要论文 |
| AI 工程 / MLE / 模型服务 | 可交付模型、接口契约、错误处理、测试、测量 | 本地 HTTP 模型服务 | 部署、安全、监控、资源调度、负载与成本 |
| AI 应用工程 | 检索、证据、拒答、任务评测、产品边界 | 带引用的离线检索应用 | 真正的模型调用、复杂数据、安全、多轮状态与生产集成 |

岗位要求必须以雇主 JD 为准。做完这些练习不自动满足招聘门槛；它们让读者先有一组能复现、能被追问的材料。

## 二、统一运行与目录

在仓库根目录，Python 3.10+，无需安装依赖：

```bash
python3 examples/run_all.py
```

脚本先跑三个案例，再跑 18 项风险单元测试，最后核对固定输入的预期指标。成功标志是 `ALL_EXAMPLES_ACCEPTED`。本次实际环境为 Python 3.12.14、Linux。第二个案例确实启动本机 HTTP 服务并发送请求，不是函数调用伪装成接口测试。

| 输入 / 输出 | 文件 |
|---|---|
| 分类输入 | `examples/01_ml_experiment/data/tickets.jsonl` |
| 分类实验与模型 | `examples/01_ml_experiment/reports/evaluation.json`、`model.json` |
| HTTP 验收 | `examples/02_model_service/reports/verification.json` |
| 检索输入 | `examples/03_grounded_retrieval/data/corpus.jsonl`、`questions.jsonl` |
| 检索评测 | `examples/03_grounded_retrieval/reports/evaluation.json` |
| 固定验收值 | `examples/expected_metrics.json` |
| 总验收记录 | `examples/verification-summary.json` |

报告记录输入哈希、方法、运行环境、每题结果与失败样本。运行命令会重新生成报告；延迟会改变，固定算法指标应一致。若改变方法或输入，必须新建实验记录，不能偷偷改“预期值”来掩盖失败。

## 三、案例 A：小模型也能检验实验素养

### 问题与输入

把英文工单分为账号访问、账单、技术故障三类。输入 51 条手工合成工单，固定分成 train 30、dev 9、test 12。不是客户数据，也不是随机代表性样本。

### 方法

代码自己实现多项式朴素贝叶斯。词表只从 train 建立；比较 alpha 为 0.25、1、2，以及 unigram / unigram+bigram。按 dev macro-F1 选择，test 仅用于最后报告。并设置“始终预测最多类别”与“删掉全部文本特征”两个对照。

数据加载时检查重复 ID、规范化后相同文本，训练函数拒绝接受 dev/test。这个检查不能发现同一用户、同一事件、近义改写等语义泄漏，真实项目还要按来源和时间设计划分。

### 实际结果

选中 alpha 0.25、unigram。test 正确 10/12，accuracy 0.833333，macro-F1 0.832011；多数类基线 macro-F1 0.166667。报告有各类别 precision/recall/F1 与混淆矩阵，不能只展示准确率。

仅 12 个合成测试样本，不能推断真实业务效果。模型输出的归一化概率未校准，不代表可靠程度。

### 两个错误

“I cannot access my refund receipt”被分到账号访问，标注为账单。“The invoice page spins forever”被分到账单，标注为技术故障。前者涉及标签边界，后者暴露对关键词的依赖。

下一步不是盲目换大模型。先写清“访问某个账单页面失败”到底由谁处理，再收集同类难例，比较改进。对已看过的 test 修补，只能叫回归修复；泛化结论应使用新测试集。

### 面试讲解顺序

“我先把任务和标签边界写清。词表只从训练集建立，开发集选择参数，测试集只做报告。简单模型在这个合成集上超过固定类别基线，但两个错误说明词面模型没有理解事件关系。这个结果只证明实验流程能复现，不证明商业可用。我的独立修改是【实际 diff】。”

追问练习：为什么 macro-F1？数据重复检查有什么盲区？是否该允许多标签？什么叫参数选择泄漏？如何在提高覆盖率和降低错误成本间取舍？

## 四、案例 B：模型服务的证据必须来自真实请求

### 输入与接口

加载案例 A 的可读 JSON 模型，计算文件哈希作为 model_id。提供 `GET /health` 和 `POST /predict`。请求只能包含 `texts`，长度 1–16，每条最多 1,000 字符，总请求体最多 16,384 字节。返回按输入顺序排列。

只监听 `127.0.0.1`。无已知词、空白、错误类型、额外字段会被拒绝。批量中任意一条无已知词时拒绝整批，是本例明确选择的接口语义。

### 实际验收

真实 HTTP 验收共 14 项，含有效批处理和顺序、破损 JSON、输入类型、边界、未知字段、无已知词、错误 Content-Type、请求过大、未知路由，以及 4 线程发送 20 次请求。

另外记录暖机 5 次后 40 次串行本地 HTTP 延迟，保留原始毫秒样本，并计算最近秩 p50/p95。最新数值在报告中。低负载本机小模型测量不说明生产吞吐或公网延迟；4 线程 20 次请求通过也不说明服务容量。

### 明确未完成的部分

该服务没有 TLS、身份认证、限流、线程数上限、真正的推理取消、生产观测或灾备。实现了请求体读取超时，不等于模型超时。411 与 408 分支未在自动 HTTP 套件中覆盖。

Python 官方不建议将 [`http.server`](https://docs.python.org/3/library/http.server.html) 用于生产（本次核验 2026-11-13）。因此本例默认只在本机运行。若目标 JD 强调生产系统，要补部署框架、资源控制、负载测试、安全与版本切换证据。

### 面试追问

模型文件变了但接口没变，如何发现？只预测一类也可能健康检查通过，怎么办？为什么拒绝整批而非逐项返回？请求超时后推理是否仍在消耗资源？你如何证明 p95 的计算方式正确？

## 五、案例 C：把“有引用”与“答对了”拆开

### 输入与方法

8 篇虚构实验室文档，24 道问题，dev 8、test 16。test 含 8 道可回答、4 道不可回答、4 道明确带指令攻击模式的问题。使用 BM25 检索、完整段落抽取、分数阈值拒答与字面模式拦截。

这不是 LLM。本例没有向量模型、生成模型或付费接口，没有声称评估了真实大模型。选用离线方法是为了先把检索、引用、拒答和指标的关系做透明。

### 实际结果

| 指标 | 数值 | 说明 |
|---|---|---|
| 任务正确率 | 12/16 = 0.75 | 不同题型采用各自正确性规则 |
| Recall@3 | 7/8 = 0.875 | 拒答前，可回答题的正确文档是否召回 |
| 可回答题覆盖率 | 6/8 = 0.75 | 实际回答比例，不保证正确 |
| 可回答题正确率 | 6/8 = 0.75 | 本例恰与覆盖率相等，定义仍不同 |
| 不可回答题拒答率 | 2/4 = 0.50 | 一半无证据问题仍被回答 |
| 明显指令样例拒答率 | 4/4 = 1.00 | 只覆盖四条字面模式，不能推广为安全能力 |
| 已回答题引用完整率 | 8/8 = 1.00 | 引用来自原文，不证明回答相关 |

### 失败分析

两个问题因为词形和改写没有足够匹配而被拒绝。另两个问题提到 GPU 型号、银行报销，但文档只有 GPU 时间预算、部署/预算信息，系统仍抽取了相关词重叠的段落。引用是真的，所问事实仍然不存在。

提高阈值可能减少误答，但也会增加误拒。需要分别观察召回、可回答覆盖率、错误回答与拒答；不能用一个“准确率”替代全部判断。

### 如何继续

先扩充困难负例与标注规则，再比较词形处理、语义检索、混合检索或答案支持性判断。若加入 LLM，独立记录模型版本、提示词、日期、参数、成本与原始响应，重新评估引用伪造、越权检索和文档注入。没有实际运行的适配器不计入成果。

## 六、如何变成 GitHub、简历与面试证据

GitHub 首屏应让陌生人看到：问题、适用岗位、运行命令、输入来源、基线和改进、最新结果、失败、限制、许可与贡献。最短跑通命令不能依赖私人数据或未说明的密钥。

简历只写自己完成的增量。若直接使用本仓库，写“复现并审查教学基线”；只有真正新增了数据、代码或评测，才能写“设计/实现/建立”，并附可核对的提交和报告。数字必须带上下文：12 个合成测试样本、40 次回环请求、16 道手工问题，与线上业务指标有不同含义。

使用 [贡献记录模板](../examples/CONTRIBUTIONS.template.md)，分清上游、个人工作、AI 辅助和人工验收。免费资料可以直接复用，但不允许把复制教程包装成原创客户项目。

## 七、完成后的自查

- 能从干净 checkout 跑通完整输入与命令。
- 能解释数据来源、许可、划分方式和泄漏风险。
- 有一个合理基线；选择参数时没有使用最终 test。
- 知道每个指标的分母、零分母处理和适用范围。
- 至少讲清一个失败、一个限制和一个尚未验证的假设。
- 区分本机测量、测试环境、真实生产；没有虚构用户量或业务收益。
- 能指出个人修改与 AI 辅助，保留具体提交与验收记录。
- 对照目标 JD 判断下一步，而不是机械叠加工具名称。
