抓取量下降、新页面迟迟不被访问，很多站长的第一反应是“改点什么”。今天加几条内链，明天换一版 Sitemap，后天又去调服务器，改了一圈却说不清是哪一步起了作用。更稳的做法是先把问题定位到某一层，再动手。

下面这套顺序，从离蜘蛛最近的地方开始，逐层排除。

第一层：日志里蜘蛛到底来没来

打开服务器日志，按蜘蛛的 User-Agent 过滤，先看目标 URL 有没有请求记录。这一步决定了后面所有方向。

• 完全没有记录：问题在“发现”环节。可能是没有内链指向、入口太深、Sitemap 未提交或被忽略、robots.txt 里被挡，也可能整站抓取量本身就在下滑。
• 有记录但次数极少：问题在“调度”环节。跟站点整体权重、更新频率、抓取预算有关，单页改内链的效果有限。
• 记录很多但反复抓同一批 URL：说明新 URL 没进入待抓队列，回到发现环节检查。

第二层：来了但拿不到页面

有请求记录，但状态码不是 200，就要顺着状态码往下查。这一步经常被忽略，却最容易解释“抓取量突然掉了”。

• 403：多为安全策略、防火墙或 CDN 规则误拦，尤其是对特定 UA 或高频 IP 的拦截。
• 429、503：服务器在主动降速。短时间可能是保护，长时间持续会让蜘蛛降低访问频次。
• 5xx 连续出现：蜘蛛会减少访问，恢复后也要一段时间才回到原来的节奏。

响应时间同样要看。首字节时间过长、页面迟迟返回不完，蜘蛛容易中途放弃，或者把该 URL 的优先级往下调。

第三层：拿到页面但读不到内容

状态码正常、HTML 也返回了，但正文和链接没被识别，常见原因有几个：关键内容靠 JS 渲染、首屏之外的内容延迟加载、正文被大量 DOM 层层包裹、或者把重要文字放在图片里。

做法是用抓取工具模拟一次，对比渲染前后的 HTML，看链接和文字是否出现在初始响应中。如果只在渲染后才出现，就要评估蜘蛛执行脚本的成本。

第四层：能读，但没有可跟的链接

页面本身没问题，可蜘蛛读完就停了，说明出站内链不足。检查几点：

• 列表页、详情页之间的链接是否用真正的 a 标签，而不是点击事件。
• 重要页面是否只从首页几步之外才能到达，路径是否绕。
• 是否存在一批只靠站外链接或 Sitemap 才能被发现的“孤立页面”。
• 分页、筛选、标签页是否形成大量低价值 URL，稀释了抓取。

内链的作用不只是传递权重，更是给蜘蛛画出可走的路。路径断了，Sitemap 提交再多也补不回抓取深度。

第五层：Sitemap 与提交渠道

前面几层都正常，再来看 Sitemap。检查文件是否能正常访问、URL 是否与线上一致、是否混入了 404 或重定向地址、lastmod 是否长期不变。Sitemap 是补充发现渠道，不是替代内链的手段，把它当成兜底更合适。

为什么要按这个顺序

先确认蜘蛛到没到，再看它拿到什么，最后才看它有没有路可走。顺序反了，容易在还没确认发现环节的情况下就去优化内链，改完也看不出效果。

一份可执行的排查清单

1. 过滤日志，确认目标 URL 是否有蜘蛛请求。
2. 统计状态码分布，找出非 200 的占比。
3. 检查响应时间，定位慢页面。
4. 用抓取工具对比渲染前后 HTML，确认内容是否可见。
5. 检查内链路径，确认目标页面从入口几步可达。
6. 核对 Sitemap 内容与线上 URL 是否一致。
7. 只改一处，观察日志变化，再决定下一步。

抓取问题很少是单一原因造成的，但每次只动一个变量，日志会告诉你答案。这比一次性大改要可控得多。