打开章节导航攻略章节00|先把目标缩到一个能验证的岗位01|按实际工作区分 AI 岗位02|从自己的基础,走到一条可申请路线03|把已有经历变成可信证据04|做一个可验证的技术项目05|把项目变成 GitHub、简历与面试证据06|技术面试:按岗位练,不背一份万能题库07|地区、毕业时间与雇主资格分别核查08|定向申请:用同一套证据回答这条 JD09|用投递和面试记录,定位下一步技术案例:从“跑得动”到“证据可信”技术项目01|把一个小模型做成可信的实验02|把模型交给一个真实 HTTP 接口03|有引用,不代表回答正确三个能运行、能解释、能查错的技术样例教学输入的数据许可与来源模板01|岗位研究与申请前核验02|能力差距表03|学习行动与每周交付04|技术项目 README 模板05|实验与评测记录06|失败样本与根因验证07|中文与英文简历:三条路线的教学样例08|技术面试自查与模拟题09|行为面试:STAR与结果边界10|投递台账与招聘窗口11|面试复盘与问题定位12|个人贡献、上游来源与AI辅助声明13|资格、时间与地点确认:英文询问信14|数据卡与模型/系统卡可编辑模板包原始研究与来源覆盖缺口与更新队列真实雇主 JD 研究表JD 来源核验记录地区资格与招聘时间:分开核查新旧仓库内容边界与只读审查技术方法来源
完整攻略 · 资料核验 2026-11-13
本页目录 · 8 节

04|做一个可验证的技术项目

本仓库提供三个从零可运行的教学项目,全部使用小规模人工构造输入,不依赖付费 API。它们用于训练实验和工程判断,不证明你已经具备所有 AI 岗位要求,更不等于训练大模型或上线企业系统。

三个项目怎么选

项目面向路线核心验收不能证明的能力
文本分类实验算法 / 应用 ML独立分割、参数选择、对照、macro-F1、失败分析深度学习研究、真实业务泛化
本地模型服务AI 工程HTTP 契约、错误输入、模型版本、延迟测量云端高可用、真实生产容量
有引用与拒答的检索应用AI 应用检索命中、回答覆盖、拒答与引用LLM 生成质量、完整防注入保障

先选一个与你的 JD 对应的项目,完成后再决定是否做第二个。具体目录、输入、命令、预期输出、验收与排错以 examples/README.md 及各子项目 README 为准。实测结果与案例解读见技术案例。

从干净目录开始

使用 Python 3.10 或更高版本。macOS/Linux 通常使用 python3;Windows 可使用 py -3,后续命令相应替换。进入仓库根目录,先检查版本,再运行总入口。

bashpython3 --version
python3 examples/run_all.py

不要只保留终端里“成功”两个字。打开生成的 JSON 报告,检查样本数量、模型配置、失败样本和运行环境。复制一份到自己的项目记录,注明运行日期和代码版本。

数据先于模型

写出一行数据代表什么。是一个用户、一条文本、一次会话,还是一天的设备记录?如果同一对象的多条记录跨越训练和测试,模型可能记住对象特征。先确定分割单位,必要时按人、时间或组织分组,再做特征处理。

训练只用训练数据;验证集用于选择参数、阈值和方案;测试集用于最后评估。特征词表、标准化参数和缺失值规则也可能造成泄漏,不能只检查标签。官方 scikit-learn 文档强调在分割后学习预处理步骤,避免测试信息进入训练。T01

本仓库小样例采用固定分割,方便验收。它不替代大型研究里的多个随机种子、时间外评估或跨域评估。改进样例时,先重新设计评测,再扩大模型。

指标必须写分母

准确率是正确预测数除以全部样本数;类别严重不均衡时,它可能掩盖少数类失败。Precision 关注“判为正的有多少是真的”,Recall 关注“真的为正的有多少被找出”。Macro-F1 先按类计算 F1,再对类别等权平均;它与先平均 precision/recall 再算 F1 不同。T02

检索 Recall@k 必须说明相关文档集合。若每题恰好只有一个相关文档,“前 k 条是否命中”的平均值与单相关文档 Recall@k 一致;有多个相关文档时,hit rate 与 recall 不再相同。

拒答正确率和可回答覆盖率要一起看。全部拒答可能避免错误回答,却不能帮助用户完成可回答任务。不要只挑一个好看的数值。

失败分析按可修复原因分类

观察可能原因下一次最小实验
某类频繁被误分类别边界不清、样本少、词汇重叠检查标签规则并补独立边界样本
训练很好,测试差泄漏修复后的真实差距、过拟合、分布变化固定数据,减少特征或正则化
文档检索没命中同义词、分词、切块、查询不完整仅改变一个检索组件
检索命中但回答错答案提取、生成或上下文使用问题单独验收答案步骤
本地接口延迟波动预热、并发、输入大小或资源竞争记录条件并重复同一测量
项目别人跑不通依赖、路径、默认参数或缺少输入从新目录照 README 重跑

“模型不好”不是能指导下一步的错误分类。记录输入、预期、实际、原因假设和验证动作,至少保留一条尚未解决的失败。

让项目有个人贡献

先原样跑通本仓库,标明复现。然后提出一个改进问题,例如“能否在不降低不可回答问题拒答率的前提下,提高可回答覆盖率?”固定测试集,建立开发集,调整检索或阈值,再报告收益与代价。

可选扩展包括真实许可数据、另一种基线、批处理、英文与中文分开评测、时间外样本、监控指标。只有你实际实现并验收的扩展才能写进简历。接入 LLM 时需另外记录供应商、模型版本、费用、数据去向、重复运行和生成评测;本版没有对任何在线模型进行这些实验。

研究岗的额外要求

三个轻量样例只能建立实验习惯。若目标 JD 要求深度学习研究,应再做匹配方向的论文复现:固定论文版本和数据许可;写清硬件预算;复现一个核心结论;记录多次运行;分析与原文的差异;在许可范围内发布代码。没有算力时缩小研究问题,不能伪造实验。

PyTorch 官方文档指出,不同版本、平台和 CPU/GPU 之间不能保证完全一致的可复现结果。记录环境、随机性控制和算子选择,比只写一个随机种子更完整。T03

项目完成检查

  • 输入完整、来源和许可明确,未包含个人信息或机构秘密。
  • 一条命令可以生成结果,异常时给出可理解的错误。
  • 基线、改动、指标、失败样本、限制都能找到。
  • 只用开发集调参,保留测试用途;发现污染后重新建评测。
  • 个人、第三方、同伴和 AI 辅助贡献已经声明。
  • 未把教学指标写成客户收益、就业结果或生产性能。

通过这些检查后,才进入简历和面试表达。

原始文档:docs/04-project-workflow.md