所属模块：技术检查｜更新时间：2026-11-05｜性质：可复现实验，绝非 AI 引用保证。
你做完会得到什么
分别理解 Googlebot、OAI-SearchBot 和 GPTBot，避免混淆搜索展示与模型训练。
准备（0–5 分钟）
只需电脑和网络浏览器、自己有权限的站点（部分实验无网站也能完成）。用 docs/ 打开网站，用 templates/ 保存可编辑文件；所有客户信息请先去标识化。
按顺序实操
1. 打开自己的 /robots.txt
例如 https://你的网站域名/robots.txt，没有文件并不必然代表阻断。
完成凭证： 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。
2. 逐条读规则
搜索 User-agent、Allow、Disallow；注意规则作用的路径和可能的匹配优先级。
完成凭证： 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。
3. 核对官网原始定义
OpenAI 官方文档中 OAI-SearchBot 用于搜索；GPTBot 用于模型训练；ChatGPT-User 是用户动作访问。
完成凭证： 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。
4. 检查防火墙/CDN
站点管理员核对源站拒绝日志、机器人管理规则；确认真实 IP 时以官方公布名单为准。
完成凭证： 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。
5. 仅做有依据的改动
若希望搜索发现，评估开放公开页面的搜索访问；不要因为 GEO 需要而开放私人报告。
完成凭证： 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。
最终验收（必须具备）
一张 User-agent / 网站预期 / 实际策略 / 核验时间 规则表。
常见失败和处理
禁止 GPTBot 不等于一定禁止 OAI-SearchBot，也不等于影响所有 AI 搜索。
如果无法访问某个平台或没有后台权限：填写「未执行 / 无权限 / 无数据」，保留截图和阻塞原因，继续做不依赖权限的部分。不要凭空补零。
资料来源
进阶实操：可直接抄的细节与排障
先看三个不同的名字
OpenAI 官方把 OAI-SearchBot 用在搜索相关自动抓取，把 GPTBot 用在可能关联基础模型训练的抓取，ChatGPT-User 对应用户发起的某些访问。不要因为名字都带「GPT」就当作同一个爬虫。Google 搜索另有 Googlebot 相关控制；Google-Extended 的作用需要按照官方文档单独理解。
robots.txt 示例的边界
例如 User-agent: GPTBot 后接 Disallow: /，这是对该用户代理的一类声明，不代表网站在所有 AI 产品里消失。还要逐条看 OAI-SearchBot、通配规则、具体路径、CDN/WAF 防火墙以及是否误拦截了本应公开的服务页。robots 不是访问控制，包含个人数据的页面必须采用适当认证与权限，不可仅靠 robots 隐藏。
操作人员要交的材料
保存 robots 原文的地址和抓取日期、源站或 CDN 规则截图、站点所有者的期望策略、变更前后对照。没有管理员权限时只生成建议，不能假装已修改防火墙。