技术   约 60 分钟 · 4 个验收动作

Robots 和 noindex：别把整个站一键屏蔽

知道控制抓取与控制索引不是一回事。

实际场景
示例：robots.txt Disallow 不等于阻止 URL 出现在 Google 搜索结果中。
操作方式：照着完成一个动作 → 保留结果 → 勾选完成。这里给出的工具和政策以实际官方界面为准；模拟情景不代表真实客户结果。

逐步照做

1

访问真正主机根目录 /robots.txt，确认没有无意的 Disallow: /；GitHub Pages 项目子路径不能独立控制主机根 robots。

验收：保存根目录 robots 地址和完整内容。

卡住怎么办：在多租户域名下不能改根 robots 时不要假装子目录 robots 有效。

2

检查需要公开的页面没有 meta robots noindex 或 X-Robots-Tag: noindex。

验收：抽样核心页的 HTML 与响应头均允许索引。

卡住怎么办：修改后仍无收录，继续查内容与索引状态，不把 noindex 当唯一原因。

3

对需禁止出现在搜索的公开但可抓取页面用 noindex；真正私密资源需身份验证。

验收：限制内容有对应明确控制手段。

卡住怎么办：如果 robots 先禁止抓取，Google 可能看不到 noindex；先解决冲突。

4

上线前检查测试站与正式站是否错误共享索引规则。

验收：正式站核心路径无误伤，测试站不泄漏私密内容。

卡住怎么办：生产环境存在站点级 noindex 时优先修复并记录。

本章交付物

正式站核心路径无误伤，测试站不泄漏私密内容。

核验资料

← 上一章下一章 →