REA 保姆级实验基准|零虚构数据
状态:测试协议已写好;作者尚未在你的 Mac 中运行真实 REA 引擎。本项目自带的 Node 测试和 Python safetensors 结构检查属于 T-local。
最低可复现实验
- 使用 Mini App 的源代码及测试,让
node examples/mini-app/test.mjs验证订单规则。 - 在 Node 版本满足 REA 门槛的环境下,先核对
npx rea-agents@latest --help输出,再执行上游正式 README 给出的analyze-javascript-application示例对这个目录做静态检查。必须保存实际返回的 Evidence。 - 将 REA 返回的 module/import 图与自有源码文件对照,记录哪些关系正确,哪些未证明。
- 使用 合成 safetensors 跑本地结构检查,再依据当前 REA 工具帮助选择模型静态检查路径。没有该 CLI 子命令就标记不可用,不猜测。
- 重复两次,记录包版本、耗时、人工复核时间、失败条件和已用/未用的权限。
必填实验结果表
| 任务 ID | REA版本 / 系统 | 样本哈希 | 直接观察 | 推断 | 反证 | 复测状态 | 风险 |
|---|---|---|---|---|---|---|---|
| mini-app-static | 待实际运行 | 待实测 | 尚无 REA 输出 | 尚无 | 检查模块导入是否完整 | 未运行 REA | 无私人文件 |
指标口径
- 可复现率 = 二次复测通过样本 / 纳入复测样本,不得只公开成功案例。
- 证据完整率 = 具备原始路径、哈希、版本、命令、退出状态的结论 / 全部结论。
- 净节省时间 = 人工对照基线 −(安装准备 + REA 执行 + 人工复核 + 重试成本)。
- 越权事件率 = 超出授权范围的实际读写事件 / 所有进行过外部动作的任务。
不得用“REA 返回成功”代替外部系统的真实状态;不能从 1 个样例推导全平台成功率。
AI 酋长 Andy
免费开源教程,可持续提交实测与反证。微信:AIPMAndy