技术   约 60 分钟 · 4 个验收动作

抓取状态：HTTP、重定向、软 404

会辨认 200、301、404 与“显示成功但实际空白”的页面。

实际场景
示例：错误商品页回 200 且只说“商品不存在”，可能被视为软 404。
操作方式：照着完成一个动作 → 保留结果 → 勾选完成。这里给出的工具和政策以实际官方界面为准；模拟情景不代表真实客户结果。

逐步照做

1

用浏览器开发工具 Network 或 curl -I 检查首页、栏目页、3 个文章页响应状态。

验收：记录 URL、状态码、最终落地地址和响应时间。

卡住怎么办：动态站若 HEAD 与 GET 行为不同，改用 curl -L -o /dev/null -w "%{http_code}"。

2

核对 HTTP→HTTPS、旧 URL→新 URL 是否为预期重定向且落到相关内容。

验收：样本中没有循环、重定向到不相关首页和长链跳转。

卡住怎么办：迁移站先保留老 URL 清单和映射关系。

3

对不存在的 URL 测试是否返回真实 404/410，而非空白 200。

验收：随机不存在路径返回 404/410 或正确不可用处理。

卡住怎么办：CMS 模板掩盖状态码时请开发同事修服务器响应。

4

检查重要页面在无痕与手机上可直接访问且无登录或机器人拦截。

验收：逐页验证公开用户和目标抓取系统能获得正文。

卡住怎么办：CDN/WAF 拦截时查真实日志与防护规则，不盲目放通全部流量。

本章交付物

逐页验证公开用户和目标抓取系统能获得正文。

核验资料

← 上一章下一章 →