蜘蛛在抓取每一个 URL 时，服务器都会返回一个状态码。这个码不只是给浏览器看的，它决定了蜘蛛下一步是继续沿着链接走，还是把当前路径标记为失效。很多站点在调整内链和 Sitemap 时，容易忽略状态码在抓取路径里的实际作用。
301 与 302：路径更新还是临时绕行
301 表示永久跳转。蜘蛛收到 301 后，通常会在一段时间内把原 URL 替换成新 URL，后续抓取和索引都会指向新地址。对内链来说，如果多个页面还在链向旧地址，蜘蛛会反复经过 301，虽然最终会到达新页面，但路径变长，抓取效率会受影响。
302 表示临时跳转。蜘蛛一般会继续保留原 URL 的抓取，因为服务器说目标只是暂时变动。如果站点把 302 当成永久迁移来用，可能会发现旧 URL 不断被访问，新 URL 的发现却不稳定。永久迁移用 301，临时活动或 A/B 测试用 302，这个区分要清楚。
另外，跳转链尽量控制在一跳以内。A 跳 B、B 跳 C、C 才是目标页，蜘蛛每多走一步就多一次请求，路径越深，后续链接越容易被漏掉。
404 与 410：链接断掉之后
404 表示页面不存在。蜘蛛遇到 404 后，通常不会继续沿着这个 URL 往下走，因为页面没有内容可供解析。如果这个 URL 曾经有排名，蜘蛛会在一段时间后把它从索引里移除。
410 表示页面已永久删除。相比 404，410 的信号更明确，蜘蛛可以更快地确认这个地址不再需要抓取。对于确实下线的页面，返回 410 比一直返回 404 更干净。但要注意，如果页面还有流量或外链价值，直接 410 可能损失已有信号，更稳妥的做法是 301 到相关的新页面。
软 404 是另一种情况：页面返回 200，但内容显示“无结果”或“已删除”。蜘蛛会把它当正常页面抓取，可能持续占用抓取资源。空列表页、无商品的结果页，最好返回 404 或做 noindex，而不是用 200 硬撑。
5xx 与服务器稳定性：抓取路径的中断
5xx 表示服务器端错误。蜘蛛遇到 5xx 时，一般会稍后重试，但如果一个站点在抓取时段频繁返回 5xx，蜘蛛会认为站点不稳定，主动降低抓取频次，甚至暂时放缓整条抓取路径。路径中断的次数越多，恢复就越慢。
服务器稳定性直接影响抓取路径的连续性。数据库超时、缓存击穿、并发过高，都会让蜘蛛在某个环节反复失败。建议在日志里关注 5xx 出现的 URL 和时段，而不是只看平均值。
在抓取路径中排查状态码问题
- 看服务器日志：筛选蜘蛛 UA，统计 301、302、404、410、5xx 的分布，找到频繁返回异常状态的内链。
- 检查内链结构：如果重要页面被多条内链指向旧地址，蜘蛛会不断经过跳转，路径被拉长。
- 核对 Sitemap：Sitemap 里只放最终可访问的 200 页面，不要放 301 或 404 地址，否则会浪费抓取配额。
- 处理软 404：对空结果页、已下架内容页做状态码或 noindex 处理，避免蜘蛛反复抓取无价值页面。
- 观察恢复节奏：修复 5xx 后，抓取频次不会立刻回到原水平，通常需要几天到几周逐步恢复。
状态码是抓取路径上的路标。路标清晰，蜘蛛才知道下一步该往哪走；路标混乱，蜘蛛就会绕路、停步，甚至放弃。
把状态码和内链、Sitemap、服务器监控放在一起看，才能判断蜘蛛的抓取路径是否顺畅。定期从日志里抽一段蜘蛛访问记录，对照状态码和链接来源，往往比单独优化某一个页面更有用。