# LAB 07｜robots.txt、搜索与训练爬虫的区别

> 所属模块：技术检查｜更新时间：2026-11-05｜性质：可复现实验，绝非 AI 引用保证。

## 你做完会得到什么

分别理解 Googlebot、OAI-SearchBot 和 GPTBot，避免混淆搜索展示与模型训练。

## 准备（0–5 分钟）

只需电脑和网络浏览器、自己有权限的站点（部分实验无网站也能完成）。用 `docs/` 打开网站，用 `templates/` 保存可编辑文件；所有客户信息请先去标识化。

## 按顺序实操

### 1. 打开自己的 /robots.txt

例如 `https://你的网站域名/robots.txt`，没有文件并不必然代表阻断。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 2. 逐条读规则

搜索 User-agent、Allow、Disallow；注意规则作用的路径和可能的匹配优先级。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 3. 核对官网原始定义

OpenAI 官方文档中 OAI-SearchBot 用于搜索；GPTBot 用于模型训练；ChatGPT-User 是用户动作访问。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 4. 检查防火墙/CDN

站点管理员核对源站拒绝日志、机器人管理规则；确认真实 IP 时以官方公布名单为准。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 5. 仅做有依据的改动

若希望搜索发现，评估开放公开页面的搜索访问；不要因为 GEO 需要而开放私人报告。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

## 最终验收（必须具备）

一张 `User-agent / 网站预期 / 实际策略 / 核验时间` 规则表。

## 常见失败和处理

禁止 GPTBot 不等于一定禁止 OAI-SearchBot，也不等于影响所有 AI 搜索。

如果无法访问某个平台或没有后台权限：填写「未执行 / 无权限 / 无数据」，保留截图和阻塞原因，继续做不依赖权限的部分。不要凭空补零。

## 资料来源

- [Google：生成式 AI 搜索优化](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide)
- [OpenAI：搜索和训练爬虫](https://developers.openai.com/api/docs/bots)
- [Bing AI Performance](https://www.bing.com/webmasters/help/ai-performance-9f8e7d6c)

## 进阶实操：可直接抄的细节与排障

### 先看三个不同的名字

OpenAI 官方把 **OAI-SearchBot** 用在搜索相关自动抓取，把 **GPTBot** 用在可能关联基础模型训练的抓取，**ChatGPT-User** 对应用户发起的某些访问。不要因为名字都带「GPT」就当作同一个爬虫。Google 搜索另有 Googlebot 相关控制；Google-Extended 的作用需要按照官方文档单独理解。

### robots.txt 示例的边界

例如 `User-agent: GPTBot` 后接 `Disallow: /`，这是对该用户代理的一类声明，不代表网站在所有 AI 产品里消失。还要逐条看 `OAI-SearchBot`、通配规则、具体路径、CDN/WAF 防火墙以及是否误拦截了本应公开的服务页。robots 不是访问控制，包含个人数据的页面必须采用适当认证与权限，不可仅靠 robots 隐藏。

### 操作人员要交的材料

保存 robots 原文的地址和抓取日期、源站或 CDN 规则截图、站点所有者的期望策略、变更前后对照。没有管理员权限时只生成建议，不能假装已修改防火墙。