# LAB 06｜网站抓取自查：无须购买工具

> 所属模块：技术检查｜更新时间：2026-11-05｜性质：可复现实验，绝非 AI 引用保证。

## 你做完会得到什么

用项目内置脚本或浏览器粘贴 HTML，检查最容易遗漏的搜索基础问题。

## 准备（0–5 分钟）

只需电脑和网络浏览器、自己有权限的站点（部分实验无网站也能完成）。用 `docs/` 打开网站，用 `templates/` 保存可编辑文件；所有客户信息请先去标识化。

## 按顺序实操

### 1. 找到网页源代码

打开自己的公开页面 → 查看网页源代码（不是只看 DevTools Elements 的动态 DOM）。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 2. 本地命令检测

下载项目后运行 `python3 scripts/site_audit.py --file examples/sample-good.html --url https://example.com/article`。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 3. 检测自己的页面

将页面 HTML 存为 `my-page.html`，执行同一命令，将 `--file` 改成新文件。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 4. 保存结构报告

核对标题、meta description、H1、canonical、noindex、JSON-LD、正文字符数、链接等。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

### 5. 回到搜索后台复核

任何本地检测都不是 Googlebot 真抓取结果；最终还要用 Search Console / Bing 工具和源站日志。

**完成凭证：** 写入今天的日期、页面 URL 或源文件名，并保留能独立复核的截图/报告。

## 最终验收（必须具备）

一份 JSON/文本结构检查结果及至少 3 条已确认可修复的问题。

## 常见失败和处理

没有 `noindex` 不等于被索引；本地工具不证明 AI 一定会引用。

如果无法访问某个平台或没有后台权限：填写「未执行 / 无权限 / 无数据」，保留截图和阻塞原因，继续做不依赖权限的部分。不要凭空补零。

## 资料来源

- [Google：生成式 AI 搜索优化](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide)
- [OpenAI：搜索和训练爬虫](https://developers.openai.com/api/docs/bots)
- [Bing AI Performance](https://www.bing.com/webmasters/help/ai-performance-9f8e7d6c)

## 进阶实操：可直接抄的细节与排障

### 操作路径有两条

**不会写代码**：浏览器打开自己的页面 → 查看网页源代码 → 全选复制 → 打开本项目 `docs/diagnose.html` → 粘贴 → 点击「运行离线诊断」。工具会列出 title、H1、canonical、noindex、正文长度等提示。要检查的是服务器实际返回的源码，不是浏览器运行 JavaScript 后在 Elements 面板里临时生成的 DOM。

**会用终端**：将源码保存到 `my-page.html`，执行 `python3 scripts/site_audit.py --file my-page.html --url https://你的网站/页面 --json > page-audit.json`。本脚本不联网，也不会偷偷访问其他页面；只分析你给它的文件。

### 故意制造一次失败

先运行 `examples/sample-broken.html`，确认报告指出 `noindex`、没有 title、H1、canonical。再运行 `sample-good.html`，比较提示差异。如果两个报告完全一样，优先检查是否传入了同一个文件、命令参数是否拼错。脚本检查不了 robots.txt、CDN 与真实索引，最终仍要用网站后台和搜索平台工具核实。