蜘蛛进到入口页之前，先拿到的其实不是 HTML，而是服务器返回的状态码和响应头。这一层信息很短，却常常决定蜘蛛是继续抓、放慢抓，还是干脆先走开。不少蜘蛛池入口页本身内容没大问题，问题出在服务器给出的信号上。
状态码是蜘蛛对入口页的第一判断
蜘蛛对状态码的解读比较固定：
- 200：正常，内容可取。入口页大多应该落在这个状态。
- 301 / 302：跳转。蜘蛛会跟，但跳转链太长、跳转目标不稳定时，它可能只跟到中途。
- 403：服务器拒绝访问。蜘蛛通常理解为不被允许，多次遇到后可能降低对该路径甚至该主机的抓取频率。
- 429：请求过多。这是服务器主动限流，蜘蛛一般会退让，按 Retry-After 或自行降低频率。
- 5xx：服务器错误。蜘蛛会把责任归到服务器侧，短期可能重试，长期持续报错就会减少来访。
- 404 / 410：页面不存在。前者它还会再试几次，后者是明确告诉它别来了。
需要留意的是，状态码影响的往往不是单个 URL，而是蜘蛛对整个主机段的信心。同一个入口站长期大量返回 5xx 或 403，蜘蛛后续连正常页面也可能少来。
响应头里几个容易被忽略的字段
Content-Type 与字符集
如果 Content-Type 声明的是 text/html，实际返回的却是别的内容，或者字符集写错导致页面乱码，蜘蛛解析出来的正文可能是错的。入口页批量生成时，编码不统一是常见问题。
X-Robots-Tag
它和 meta robots 效果类似，但作用在 HTTP 层，可以针对整站或某个目录。入口页若被加上 noindex，蜘蛛仍可能抓取，但不会把它当正常结果看待；加上 nofollow，页面里的链接就未必被跟。
Retry-After
配合 429 或 503 使用，等于告诉蜘蛛过多久再来。写了这个字段，蜘蛛的退避更有依据；不写，它只能自己猜。
Cache-Control、Last-Modified 与 ETag
这几个字段不影响蜘蛛是否来，但影响它是否重新下载内容。入口页如果长期不变，合理的缓存标识可以减少重复下载；反过来，内容天天调但缓存头写得很死，蜘蛛可能拿到旧版本。
蜘蛛遇到错误时的常见反应
多数搜索蜘蛛对错误有一套退避机制，大致可以理解为：
- 首次遇到 5xx 或超时，短期重试几次。
- 错误持续，抓取间隔被拉长，来访次数下降。
- 主机层错误比例过高，蜘蛛对该主机的整体抓取会收缩，优先去抓更稳定的站。
- 错误恢复后，频率的回升通常比下降慢，需要一段时间观察。
状态码本身不决定收录，它决定的是蜘蛛愿不愿意在这台服务器上多花时间。服务器越稳定，蜘蛛越敢来。
实际使用中的几点建议
- 在服务器访问日志里按状态码统计，先看 5xx、403、429 的比例，这比看总访问量更有意义。
- 入口页不该用 403 来挡蜘蛛，需要屏蔽时用 robots 或明确的 meta 指令，别让服务器直接拒绝。
- 限流用 429 加 Retry-After，比直接掐断连接更友好，蜘蛛能理解这是暂时的。
- 错误页不要返回 200，软 404 会让蜘蛛把无内容页面当正常页抓走。
- 批量生成入口页时，统一字符集和 Content-Type，避免因为编码问题让正文解析失败。
- 跳转尽量短，能用 301 就别堆多级 302，目标 URL 保持稳定。
- 定期用抓取工具模拟蜘蛛，检查入口页返回的状态码、响应头和实际渲染内容是否一致。
把状态码和响应头理顺，是蜘蛛池里成本很低、但回报比较直接的一步。它不保证蜘蛛一定来，也不保证页面一定被处理，但能让蜘蛛在判断要不要继续这件事上少一些犹豫。