16 个实操实验 / LAB 13|前后实验:防止自我欺骗
GEO FIELD LAB 13

LAB 13|前后实验:防止自我欺骗

按顺序操作并留下证据后,才算完成;这是实际可执行的详细教程。

所属模块:科学评估|更新时间:2026-11-05|性质:可复现实验,绝非 AI 引用保证。

你做完会得到什么

把可观察到的变化与因果推断分开;报告必须保留失败数据。

准备(0–5 分钟)

只需电脑和网络浏览器、自己有权限的站点(部分实验无网站也能完成)。用 docs/ 打开网站,用 templates/ 保存可编辑文件;所有客户信息请先去标识化。

按顺序实操

1. 冻结测试样本

固定 question_id / 平台 / 语言 / 地区 / 提问原文;版本锁定在 baseline。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

2. 保存发布前记录

同一套问题完成基线,记录所有未触发和失败样本,不删掉。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

3. 单独登记改动

按页面记录发布日期、修改类型、证据、负责人;不要一次变更十种因素。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

4. 用同样条件复测

后测按同环境和同 ID 记录,若条件变了需标注不可直接比较。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

5. 报告观察与限制

看绝对有效样本数、提及/引用百分点、URL、线索;禁止把小样本相关性当因果。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

最终验收(必须具备)

一份附样本和干预说明的前后比较报告;可用 scripts/geo_report.py 生成基础统计。

常见失败和处理

10 条问题中 1→2 次引用是 +10 个百分点,不是「AI 排名增长 100%」。

如果无法访问某个平台或没有后台权限:填写「未执行 / 无权限 / 无数据」,保留截图和阻塞原因,继续做不依赖权限的部分。不要凭空补零。

资料来源

• Google:生成式 AI 搜索优化

• OpenAI:搜索和训练爬虫

• Bing AI Performance

进阶实操:可直接抄的细节与排障

一次完整计算演练

这是纯计算样例,不是 GEO 真实结果:假设基线 10 条有效自然 AI 回答里 1 条带自有 URL,后测 10 条里 2 条。基线引用率 10%,后测 20%,差异是 +10 个百分点,相对比例 100% 只是小样本数学描述,不能对外写「平台排名翻倍」;而且只有 10 次采样,稳定性非常有限。

怎样避免选择性报告

提前固定问题版本和分母;如果某条没有触发 AI 回答,应记录未触发而不是在原表中删掉。平台、地区、语言发生变化时分开报告。发布前后同一问题的匹配数也应报告,如果匹配为 0,不应称其为「同题复测」。把改动记录 templates/15-change-log.csv 与原始截图关联起来,确保别人能复现你的结论。

最后的因果边界

同期可能发生搜索算法调整、竞争对手发稿、营销投放和季节性变化。报告可说「在这组样本中观察到差异」,不能只凭前后时间关系说「就是 GEO 造成了收入增长」。

立即动手 · 16 个实操实验 →