在蜘蛛池里，入口页只负责“给出链接”，真正被评估的是目标 URL 自己返回了什么。很多站点运营者只盯着入口页有没有被爬，却忽略了目标 URL 的状态码，结果日志里爬虫来了、链接也被识别了，但目标页面始终没有进入后续流程。
为什么状态码比“链接有没有放”更关键
搜索蜘蛛发现一个链接后，下一步是抓取这个 URL 并读取响应。响应结果决定了它接下来做什么：是继续跟进、换地址，还是暂时放弃。入口页做得再好，也只是把 URL 送进队列；队列里的 URL 能不能被正常处理，取决于目标端本身。
301 / 302 跳转：容易被当成“换了个地址”
如果目标 URL 是 301 永久跳转，搜索蜘蛛通常会记住新的地址，之后按新地址抓取。问题在于：入口页一直指向旧地址、旧地址又反复跳转，长期看等于在浪费抓取次数。更稳妥的做法是把入口页里的链接直接改成跳转后的最终地址。302 属于临时跳转，反复出现时容易被理解为地址不稳定，同样建议尽量收敛成一跳。
404 / 410：链接会被逐步清理
持续返回 404 或 410 的 URL，被反复抓取确认后，通常会被标记为不存在。此时入口页还挂着这个链接，除了消耗抓取预算没有别的意义。比较实际的处理方式是：确认页面确实下线，就从入口页移除；如果只是暂时改版，用 301 指向新页面。
503 / 429 / 超时：更多是“暂时抓不动”
服务器过载、限流或响应太慢时，目标 URL 可能返回 503、429 或直接超时。这类情况搜索蜘蛛一般会降低对这一段的抓取频率，等一段时间再试。如果入口页每天都把同一批地址推出去，而目标站一直扛不住，抓取量会整体下滑。先解决服务器和限流问题，再谈入口页的链接数量。
403 / 验证码拦截：不是状态码问题，而是“看不到内容”
有些目标 URL 对正常浏览器返回 200，对爬虫返回 403 或直接弹验证码。这种拦截发生在入口页之外，入口页怎么调整都没用，需要从防火墙规则、UA 策略、访问频率层面去看。
发现状态码异常后的处理顺序
- 先看日志：确认爬虫请求的是目标 URL，还是只到了入口页。
- 手动复现：用不带 Cookie、不带缓存的请求访问目标 URL，看实际返回什么。
- 区分永久与临时：永久问题改链接或删除，临时问题降低推送频率。
- 再调入口页：确认目标端正常后，才考虑增减入口页里的链接数量。
几个容易忽略的细节
- 同一个目标 URL 在不同入口页里指向的地址要一致，避免一会儿带参数、一会儿不带。
- 跳转链尽量控制在一跳以内，中间环节越多越容易断。
- 返回 200 但内容是空壳页或错误提示页，效果和 404 差不多。
入口页解决的是“被发现”，目标 URL 的状态码解决的是“能不能被继续处理”。把这两件事分开排查，定位问题的速度会快很多。
状态码只是起点，不是唯一指标。即便目标 URL 返回 200、内容也正常，也不代表一定会被收录或获得排名，这些最终由搜索引擎自己判断。把能控制的部分做干净，剩下的交给时间。