RUNNABLE EVIDENCE

让结果可复现,也让失败可解释。

以下图表直接读取仓库中实际运行生成的报告。样例使用合成教学数据,不包含客户记录,不宣称真实业务收益。

先看测量范围。

模型质量、接口行为和检索结果分别验证。本机小样本结果不代表生产能力、线上效果或录用竞争力。检索样例是无大模型的基线,不能称为完整 RAG 系统。

18 项单元检查14 项真实 HTTP 检查确定性验收 passedPython 3.12.14

01 / ALGORITHMS & MACHINE LEARNING

工单分类:从基线到失败分析

多项式朴素贝叶斯。训练、验证、测试固定分开;参数用验证集选择,测试集保留为最后评估。

合成教学数据训练 30 · 验证 9 · 测试 12实测 2026-11-13T07:38:55.305605+00:00
83.2%测试 Macro F1 · 12 条
83.3%测试准确率
2保留的测试失败案例

同一测试集:模型与对照

选定模型
83.2%
多数类基线
16.7%
移除全部特征
16.7%

指标为 Macro F1。数据规模很小;不能从这张图推断对真实工单的泛化效果。

混淆矩阵 · 计数

真实 ↓ / 预测 →accessbillingtechnical
access400
billing130
technical013

每行是真实类别,每列是预测类别。非对角项对应需要解释的错误。

失败没有被藏起来

te08 · I cannot access my refund receipt
真实 billing / 预测 access

te11 · The invoice page spins forever
真实 technical / 预测 billing

“退款收据无法访问”与“发票页面卡住”暴露词面关联和真实意图的差异。模型输出没有做置信度校准。

02 / AI ENGINEERING

模型服务:把正常和错误输入都说清楚

本地 HTTP 服务加载版本化模型,检查请求格式与边界。每项状态码来自实际 HTTP 验证。

本地 loopback模型 452db9263121Linux / x86_64 · Python 3.12.14
14 / 14真实 HTTP 检查通过
0.719 msp50 · 40 次顺序本机请求
0.859 msp95 · 包含本地客户端耗时
  • health200 · PASS
  • batch_preserves_order200 · PASS
  • invalid_json400 · PASS
  • empty_batch422 · PASS
  • non_string422 · PASS
  • blank_text422 · PASS
  • unknown_field422 · PASS
  • too_many_items422 · PASS
  • text_too_long422 · PASS
  • unknown_vocabulary422 · PASS
  • unsupported_content_type415 · PASS
  • oversized_body413 · PASS
  • unknown_route404 · PASS
  • 20_requests_4_client_threads200 · PASS

不要把本机延迟写成生产性能

测量包含预热 5 次、单进程、loopback、短合成输入。此处不是容量测试或公网延迟测试。教学服务没有 TLS、认证、限流和有界线程池。

03 / AI APPLICATION ENGINEERING

有出处的检索:命中、回答与拒答分开测

BM25 检索与原文抽取。没有调用大模型;用固定模式阻断作为演示,不能证明可抵御未知提示注入。

无 LLM 的离线基线语料 8 篇 · 验证 8 条 · 测试 16 条阈值 2.0 由验证集选择
75.0%任务正确率 · 16 条
87.5%Recall@3 · 8 条可回答问题
50.0%不可回答问题拒答率 · 4 条

不同阶段,分别验收

检索 Recall@3
87.5%
可答问题正确率
75.0%
不可答拒答率
50.0%

可回答问题 8 条,不可回答问题 4 条。检索命中不保证最后回答正确。

边界样本的实测结果

4 条固定攻击样本的拒答率:100.0%。这个小集合不能证明对未知攻击安全。

已回答内容的原文完整性:100.0%。引用准确仍可能答非所问,不能用它替代任务正确率。

本轮保留 4 条失败,涵盖漏答和对无依据问题错误作答。

展开 4 条真实运行失败

te05 · How should credentials be handled after exposure?
结果:refused · insufficient_lexical_evidence

te08 · How long until the observations have to disappear?
结果:refused · insufficient_lexical_evidence

te11 · What GPU model does the compute budget require?
结果:answered · extractive_baseline

te12 · Which bank reimburses the deployment budget?
结果:answered · extractive_baseline

验收记录:运行汇总 JSON · 从环境准备到复现的完整步骤

可选的一对一支持

卡在岗位判断、项目诊断或面试准备?

先使用完整免费的攻略、代码和模板。需要进一步诊断,可说明目标地区、毕业时间、技术基础与具体卡点。咨询和求职陪跑不承诺录用。

微信 · 备注“留学生 AI 岗位”AIPMAndy