RUNNABLE EVIDENCE
让结果可复现,也让失败可解释。
以下图表直接读取仓库中实际运行生成的报告。样例使用合成教学数据,不包含客户记录,不宣称真实业务收益。
模型质量、接口行为和检索结果分别验证。本机小样本结果不代表生产能力、线上效果或录用竞争力。检索样例是无大模型的基线,不能称为完整 RAG 系统。
01 / ALGORITHMS & MACHINE LEARNING
工单分类:从基线到失败分析
多项式朴素贝叶斯。训练、验证、测试固定分开;参数用验证集选择,测试集保留为最后评估。
同一测试集:模型与对照
指标为 Macro F1。数据规模很小;不能从这张图推断对真实工单的泛化效果。
混淆矩阵 · 计数
| 真实 ↓ / 预测 → | access | billing | technical |
|---|---|---|---|
| access | 4 | 0 | 0 |
| billing | 1 | 3 | 0 |
| technical | 0 | 1 | 3 |
每行是真实类别,每列是预测类别。非对角项对应需要解释的错误。
失败没有被藏起来
te08 · I cannot access my refund receipt
真实 billing / 预测 access
te11 · The invoice page spins forever
真实 technical / 预测 billing
“退款收据无法访问”与“发票页面卡住”暴露词面关联和真实意图的差异。模型输出没有做置信度校准。
02 / AI ENGINEERING
模型服务:把正常和错误输入都说清楚
本地 HTTP 服务加载版本化模型,检查请求格式与边界。每项状态码来自实际 HTTP 验证。
- health200 · PASS
- batch_preserves_order200 · PASS
- invalid_json400 · PASS
- empty_batch422 · PASS
- non_string422 · PASS
- blank_text422 · PASS
- unknown_field422 · PASS
- too_many_items422 · PASS
- text_too_long422 · PASS
- unknown_vocabulary422 · PASS
- unsupported_content_type415 · PASS
- oversized_body413 · PASS
- unknown_route404 · PASS
- 20_requests_4_client_threads200 · PASS
不要把本机延迟写成生产性能
测量包含预热 5 次、单进程、loopback、短合成输入。此处不是容量测试或公网延迟测试。教学服务没有 TLS、认证、限流和有界线程池。
03 / AI APPLICATION ENGINEERING
有出处的检索:命中、回答与拒答分开测
BM25 检索与原文抽取。没有调用大模型;用固定模式阻断作为演示,不能证明可抵御未知提示注入。
不同阶段,分别验收
可回答问题 8 条,不可回答问题 4 条。检索命中不保证最后回答正确。
边界样本的实测结果
4 条固定攻击样本的拒答率:100.0%。这个小集合不能证明对未知攻击安全。
已回答内容的原文完整性:100.0%。引用准确仍可能答非所问,不能用它替代任务正确率。
本轮保留 4 条失败,涵盖漏答和对无依据问题错误作答。
展开 4 条真实运行失败
te05 · How should credentials be handled after exposure?
结果:refused · insufficient_lexical_evidence
te08 · How long until the observations have to disappear?
结果:refused · insufficient_lexical_evidence
te11 · What GPU model does the compute budget require?
结果:answered · extractive_baseline
te12 · Which bank reimburses the deployment budget?
结果:answered · extractive_baseline
验收记录:运行汇总 JSON · 从环境准备到复现的完整步骤
可选的一对一支持
卡在岗位判断、项目诊断或面试准备?
先使用完整免费的攻略、代码和模板。需要进一步诊断,可说明目标地区、毕业时间、技术基础与具体卡点。咨询和求职陪跑不承诺录用。