16 个实操实验 / LAB 06|网站抓取自查:无须购买工具
GEO FIELD LAB 06

LAB 06|网站抓取自查:无须购买工具

按顺序操作并留下证据后,才算完成;这是实际可执行的详细教程。

所属模块:技术检查|更新时间:2026-11-05|性质:可复现实验,绝非 AI 引用保证。

你做完会得到什么

用项目内置脚本或浏览器粘贴 HTML,检查最容易遗漏的搜索基础问题。

准备(0–5 分钟)

只需电脑和网络浏览器、自己有权限的站点(部分实验无网站也能完成)。用 docs/ 打开网站,用 templates/ 保存可编辑文件;所有客户信息请先去标识化。

按顺序实操

1. 找到网页源代码

打开自己的公开页面 → 查看网页源代码(不是只看 DevTools Elements 的动态 DOM)。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

2. 本地命令检测

下载项目后运行 python3 scripts/site_audit.py --file examples/sample-good.html --url https://example.com/article。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

3. 检测自己的页面

将页面 HTML 存为 my-page.html,执行同一命令,将 --file 改成新文件。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

4. 保存结构报告

核对标题、meta description、H1、canonical、noindex、JSON-LD、正文字符数、链接等。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

5. 回到搜索后台复核

任何本地检测都不是 Googlebot 真抓取结果;最终还要用 Search Console / Bing 工具和源站日志。

完成凭证: 写入今天的日期、页面 URL 或源文件名,并保留能独立复核的截图/报告。

最终验收(必须具备)

一份 JSON/文本结构检查结果及至少 3 条已确认可修复的问题。

常见失败和处理

没有 noindex 不等于被索引;本地工具不证明 AI 一定会引用。

如果无法访问某个平台或没有后台权限:填写「未执行 / 无权限 / 无数据」,保留截图和阻塞原因,继续做不依赖权限的部分。不要凭空补零。

资料来源

• Google:生成式 AI 搜索优化

• OpenAI:搜索和训练爬虫

• Bing AI Performance

进阶实操:可直接抄的细节与排障

操作路径有两条

不会写代码:浏览器打开自己的页面 → 查看网页源代码 → 全选复制 → 打开本项目 docs/diagnose.html → 粘贴 → 点击「运行离线诊断」。工具会列出 title、H1、canonical、noindex、正文长度等提示。要检查的是服务器实际返回的源码,不是浏览器运行 JavaScript 后在 Elements 面板里临时生成的 DOM。

会用终端:将源码保存到 my-page.html,执行 python3 scripts/site_audit.py --file my-page.html --url https://你的网站/页面 --json > page-audit.json。本脚本不联网,也不会偷偷访问其他页面;只分析你给它的文件。

故意制造一次失败

先运行 examples/sample-broken.html,确认报告指出 noindex、没有 title、H1、canonical。再运行 sample-good.html,比较提示差异。如果两个报告完全一样,优先检查是否传入了同一个文件、命令参数是否拼错。脚本检查不了 robots.txt、CDN 与真实索引,最终仍要用网站后台和搜索平台工具核实。

立即动手 · 16 个实操实验 →