REA FIELD NOTES / READABLE EDITION

BENCHMARK

完整内容可读 · 保留上游来源 · 明确标记未实测能力

REA 保姆级实验基准|零虚构数据

状态:测试协议已写好;作者尚未在你的 Mac 中运行真实 REA 引擎。本项目自带的 Node 测试和 Python safetensors 结构检查属于 T-local。

最低可复现实验

  1. 使用 Mini App 的源代码及测试,让 node examples/mini-app/test.mjs 验证订单规则。
  2. 在 Node 版本满足 REA 门槛的环境下,先核对 npx rea-agents@latest --help 输出,再执行上游正式 README 给出的 analyze-javascript-application 示例对这个目录做静态检查。必须保存实际返回的 Evidence。
  3. 将 REA 返回的 module/import 图与自有源码文件对照,记录哪些关系正确,哪些未证明。
  4. 使用 合成 safetensors 跑本地结构检查,再依据当前 REA 工具帮助选择模型静态检查路径。没有该 CLI 子命令就标记不可用,不猜测。
  5. 重复两次,记录包版本、耗时、人工复核时间、失败条件和已用/未用的权限。

必填实验结果表

任务 ID REA版本 / 系统 样本哈希 直接观察 推断 反证 复测状态 风险
mini-app-static 待实际运行 待实测 尚无 REA 输出 尚无 检查模块导入是否完整 未运行 REA 无私人文件

指标口径

  • 可复现率 = 二次复测通过样本 / 纳入复测样本,不得只公开成功案例。
  • 证据完整率 = 具备原始路径、哈希、版本、命令、退出状态的结论 / 全部结论。
  • 净节省时间 = 人工对照基线 −(安装准备 + REA 执行 + 人工复核 + 重试成本)。
  • 越权事件率 = 超出授权范围的实际读写事件 / 所有进行过外部动作的任务。

不得用“REA 返回成功”代替外部系统的真实状态;不能从 1 个样例推导全平台成功率。

AI 酋长 Andy

免费开源教程,可持续提交实测与反证。微信:AIPMAndy

我的官网 ↗
作者官网 ↗