状态码是URL发现的回执
搜索蜘蛛访问一个URL时，除了读取页面内容，还会记录服务器返回的状态码。这个状态码决定了它接下来怎么处理这个地址：继续保留在抓取队列里，还是标记为无效并逐步降低访问频次。很多站点讨论URL发现时，注意力都放在Sitemap和内链结构上，却忽略了状态码其实也在参与“哪些URL值得继续发现”的判断。
当状态码与页面实际情况不一致时，蜘蛛会得到错误的信号，把抓取预算花在没有价值甚至并不存在的地址上，真正需要被发现的新页面反而排不上队。
几种常见的状态码误用
软404：内容为空却返回200
列表页无数据、商品已下架、站内搜索无结果，这些页面如果仍然返回200，蜘蛛会把它当成正常内容页。它会反复回访，并在这些页面上继续解析链接，形成一条没有出口的抓取路径。时间一长，这类地址会在日志里占据相当比例。
跳转滥用：本该是404却做了重定向
把失效页统统一跳了之到首页，短期看用户没有撞到错误页，但蜘蛛会认为原地址仍然有效，继续沿着跳转链跟踪。跳转层层叠加后，抓取调度被拉长，入口的有效性也越来越模糊。
把不可访问当成可用
需要登录、需要特定Cookie或受地域限制的页面，如果对蜘蛛返回200加空壳内容，同样是在制造虚假入口。蜘蛛无法区分“内容为空”和“内容需要权限”，只能按可用页面处理。
排查顺序
- 从访问日志中筛出被蜘蛛高频访问、但页面正文极短或为空的URL。
- 抽样检测这些URL的状态码与响应体长度，确认是否属于软404。
- 核对Sitemap与内链，看是否存在指向无效页的入口。
- 对确认无效的地址统一返回404或410，而不是用跳转掩盖。
- 观察一到两个抓取周期，看这些地址的访问频次是否下降、新页面的发现速度是否回升。
修正时的几个注意点
- 保留有价值的跳转：真实的页面迁移仍应使用301，并指向最相关的新地址，而不是统一导向首页。
- 不要用robots.txt代替状态码：屏蔽抓取与声明地址不存在是两件事，混用容易让信号互相抵消。
- 同步清理入口：状态码改对了，但如果内链和Sitemap仍指向旧地址，蜘蛛还是会从这些入口重新进入。
- 保持服务器稳定：频繁超时和5xx会让蜘蛛降低整体访问频次，连带影响新URL的发现节奏。
抓取路径的回收与观察
把无效地址清理干净之后，站点通常不会立刻看到变化。蜘蛛需要一段时间才能重估这些地址的价值，抓取队列的调整也有滞后。建议把“被蜘蛛访问的无效地址占比”作为一项常规指标，定期回看日志中的高频无效路径，一旦发现新的误用形态就及时修正。
对于已经确认下线的栏目，除了返回404，还应检查面包屑、相关推荐、旧版导航中是否残留入口，避免无效地址被反复重新发现。
URL发现的前提，是蜘蛛相信它拿到的地址指向真实内容。状态码就是这份信任的基础。