# LAB 13｜前后实验：防止自我欺骗

> 所属模块：科学评估｜更新时间：2026-11-05｜性质：可复现实验，绝非 AI 引用保证。

## 你做完会得到什么

把可观察到的变化与因果推断分开；报告必须保留失败数据。

## 准备（0–5 分钟）

只需电脑和网络浏览器、自己有权限的站点（部分实验无网站也能完成）。用 `docs/` 打开网站，用 `templates/` 保存可编辑文件；所有客户信息请先去标识化。

## 按顺序实操

### 1. 冻结测试样本

固定 `question_id / 平台 / 语言 / 地区 / 提问原文`；版本锁定在 baseline。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 2. 保存发布前记录

同一套问题完成基线，记录所有未触发和失败样本，不删掉。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 3. 单独登记改动

按页面记录发布日期、修改类型、证据、负责人；不要一次变更十种因素。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 4. 用同样条件复测

后测按同环境和同 ID 记录，若条件变了需标注不可直接比较。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 5. 报告观察与限制

看绝对有效样本数、提及/引用百分点、URL、线索；禁止把小样本相关性当因果。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

## 最终验收（必须具备）

一份附样本和干预说明的前后比较报告；可用 `scripts/geo_report.py` 生成基础统计。

## 常见失败和处理

10 条问题中 1→2 次引用是 +10 个百分点，不是「AI 排名增长 100%」。

如果无法访问某个平台或没有后台权限：填写「未执行 / 无权限 / 无数据」，保留截图和阻塞原因，继续做不依赖权限的部分。不要凭空补零。

## 资料来源

- [Google：生成式 AI 搜索优化](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide)
- [OpenAI：搜索和训练爬虫](https://developers.openai.com/api/docs/bots)
- [Bing AI Performance](https://www.bing.com/webmasters/help/ai-performance-9f8e7d6c)

## 进阶实操：可直接抄的细节与排障

### 一次完整计算演练

这是**纯计算样例**，不是 GEO 真实结果：假设基线 10 条有效自然 AI 回答里 1 条带自有 URL，后测 10 条里 2 条。基线引用率 10%，后测 20%，差异是 **+10 个百分点**，相对比例 100% 只是小样本数学描述，不能对外写「平台排名翻倍」；而且只有 10 次采样，稳定性非常有限。

### 怎样避免选择性报告

提前固定问题版本和分母；如果某条没有触发 AI 回答，应记录未触发而不是在原表中删掉。平台、地区、语言发生变化时分开报告。发布前后同一问题的匹配数也应报告，如果匹配为 0，不应称其为「同题复测」。把改动记录 `templates/15-change-log.csv` 与原始截图关联起来，确保别人能复现你的结论。

### 最后的因果边界

同期可能发生搜索算法调整、竞争对手发稿、营销投放和季节性变化。报告可说「在这组样本中观察到差异」，不能只凭前后时间关系说「就是 GEO 造成了收入增长」。