完整课程 / 第 08 章 / 技术
LESSON 08 · 技术
robots.txt 与 AI 爬虫控制
OpenAI 的 OAI-SearchBot 用于搜索展示；GPTBot 用于模型训练，两者可以分别管理。Google 的 Googlebot 才是 Google 搜索相关入口。
本章完成条件
《爬虫访问策略》与 robots 改动记录。
跟着做：5 个明确动作
- 打开站点根目录 /robots.txt，记录当前规则。
- 明确哪些公开页面希望被索引，哪些敏感路径要禁止。
- 检查 CDN/WAF 是否另行阻止搜索爬虫，按官网验证来源 IP。
- 如需 ChatGPT Search 发现，参考 OpenAI 官方文档评估允许 OAI-SearchBot。
- 上线后再核对日志与抓取情况，不把爬虫访问等同于 AI 引用。
一个可复现的演练
以一家提供企业 AI 培训与咨询的公司为假设示例：选择一个客户真实会问的问题，按上面五步执行，保存页面链接、测试日期和原始截图。示例不代表已经获得 AI 推荐，也不构成业绩声明。
交付与验收
交付物：《爬虫访问策略》与 robots 改动记录。
验收标准：能把真实 URL、截图或表格交给另一位同事复核；写清负责人、日期和证据位置。
失败模式：这一步别做错
把 ChatGPT-User、GPTBot、OAI-SearchBot 当成同一个爬虫。
本章完成了吗？
完成的定义是交付物可复查，不是读完文章。
规则可能更新。平台功能请以 官方依据 为准；运营动作不等于效果承诺。