多数抓取异常不是蜘蛛不来，而是它在路上某一环走不通。盯着抓取量曲线猜原因效率很低，更直接的办法是按蜘蛛的路径把关键环节亲自走一遍：入口能不能进、链接能不能读、页面能不能抓、路径是否合理、清单是否对得上。下面这套自查流程只用浏览器、命令行和现有工具就能完成。

一、先确认入口：蜘蛛从哪进，进得来吗

蜘蛛的第一段路通常落在 robots.txt、首页和 Sitemap。先确认这三处都能正常返回：robots.txt 是 200 而不是 404，也没有误写成禁止全站抓取；首页返回 200 而不是长时间的 5xx 或跳转循环；Sitemap 地址在 robots.txt 里声明且能打开。

接着看域名版本是否统一。http 与 https、www 与非 www、带斜杠与不带斜杠，如果各自返回 200 内容，蜘蛛会把它们当成不同入口，抓取和权重都被分散。理想状态是只有一个主版本直接返回内容，其余用 301 收拢。

二、HTML 里的链接：能被提取出来吗

蜘蛛拿到 HTML 后要从中抽链接，这一步最常见的断点是链接并不在 HTML 里，而是靠脚本拼接、点击事件或表单跳转生成。自查时可以关掉 JavaScript 看一遍首页和主要栏目页，站内链接还剩多少。

• 列表页、导航、面包屑是否使用标准 a 标签加 href，而不是 div 加 onclick。
• href 是完整可解析的路径，不是 javascript:void(0) 之类的占位。
• nofollow 的使用范围是否过宽，把正常内容页也挡在外面。
• 分页、筛选、翻页链接是否为真实链接，还是无限加载后再补一个不可点的按钮。

三、目标 URL 的响应：状态码与可抓标记

从入口挑几十条代表性 URL，逐条确认：返回 200；不是 301 到 302 再到 200 的长跳转链；不会因为 UA 或地域返回 403；不是内容已空但状态码仍是 200 的软 404。

再看页面级别的可抓标记。meta robots 或 X-Robots-Tag 是否写着 noindex、nofollow；canonical 是否指向另一个地址。这些不影响抓取，但会影响复查与索引的判断，值得顺手记录下来。

内链指向一个被 robots.txt 禁止的地址，等于把蜘蛛引到门口再让它掉头，这类浪费在日志里通常表现为大量 403 或极低的抓取深度。

四、抓取路径：跳数与重复

抓取路径的理想形态是短而清晰。常见的核心页（详情、商品、文章）尽量控制在三跳以内：首页到栏目，栏目到列表，列表到内容。如果某批页面只能从很深的归档或标签页进入，它们的发现速度会明显落后。

另一种浪费是同一内容出现多套地址。带参数、带排序、带会话 ID 的版本如果都可访问且没有 canonical 指向，蜘蛛会把额度分给这些副本。自查时可以把页面上的链接去重，看有多少条最终指向同一内容。

五、Sitemap 与内链是否互相印证

两处清单对不上时，抓取节奏就会变得难以预期。只写在 Sitemap 里、站内没有任何内链的 URL，发现概率偏低；只在很深的内链里出现、Sitemap 又没收录的 URL，抓取频率也不受控。较稳妥的做法是让重要页面同时出现在内链和 Sitemap 中，并保持 lastmod 与页面实际更新时间大致一致。

六、把自查做成例行检查

不需要每天都做，但在这些节点值得完整走一遍：站点改版、上线新频道或批量新页面、更换服务器或 CDN、调整 robots.txt 之后。把每次的结果记下来——入口状态、代表性 URL 的状态码、Sitemap 条数、主要路径跳数——再与服务器日志中的蜘蛛访问记录对照，异常通常会比曲线更早暴露出来。