蜘蛛抓取入口页时，最先拿到的不是页面内容，而是 HTTP 状态码。它决定了蜘蛛接下来是解析 HTML、跟随跳转，还是直接放弃这条 URL。很多入口页看起来正常，却迟迟没有后续动作，问题就出在返回码和跳转链上。
状态码先按处理方式分三类
不用背全表，按蜘蛛的后续动作分三类就够了。
- 可抓取类：200、203 等，蜘蛛会继续解析页面并提取其中的链接。
- 跳转类：301、302、307、308，蜘蛛会跳到新地址，但能否稳定地把发现路径延续下去，取决于跳转是否固定、是否成链。
- 拒绝类：404、410、403、429、503，蜘蛛会降低甚至暂停对这个地址的访问。
容易被忽视的几种写法
把 302 当成 301 用
入口页长期用 302 指向另一条路径，蜘蛛会持续把它当成临时状态，发现链路变得不稳定。如果地址已经确定不再变化，应换成 301；如果只是灰度或 A/B 测试，尽量让每条路径都能独立返回 200，而不是靠跳转兜底。
软 404
页面返回 200，正文却写着内容不存在或已下架。这种软 404 蜘蛛无法从状态码识别，会继续把这条 URL 留在待抓队列里反复回访，占用抓取配额。要么真返回 410，要么把页面补成有实际内容的落地页。
503 与 429 的误用
有些入口页在负载高时统一返回 503，但响应头里没有 Retry-After。蜘蛛只能按自己的节奏重试，连续失败几次后，往往会下调整个站点的抓取频率。如果确实需要临时挡一下，建议带上 Retry-After，并尽量缩短持续时间。
跳转链的长度
从入口 URL 到最终落地页，跳转最好控制在一次以内。两次以上会带来两个问题：一是中间环节的处理存在不确定性，二是每一跳都要重新建立连接，抓取效率下降。常见的情况是 http 到 https、带 www 到不带 www、旧路径到新路径三段叠加，实际抓取时只走到第二跳就停了。
可以用命令行工具或抓取工具查看完整跳转链，确认跟到最后拿到的状态码是 200，而不是某个中间页返回的 302。
一份自查清单
- 入口页直接访问返回 200，不依赖跳转才能看到内容。
- 跳转只保留必要的一跳，并且使用 301。
- 确实不存在的路径返回 410 或 404，不用 200 页面代替。
- 临时维护使用 503 加 Retry-After，并尽快恢复。
- 定期抽查访问日志，确认蜘蛛拿到的是预期状态码。
状态码本身不会让页面被收录，但它决定了蜘蛛是否愿意继续往下走。把返回码和跳转链处理干净，是入口页最基础、也最容易被跳过的一步。