入口页批量铺开之后，蜘蛛每次到访先看到的不是标题，也不是正文，而是 HTTP 状态码。它比页面内容更早被解析，也直接决定这次抓取是继续深入，还是把资源收回去。不少蜘蛛池跑不出预期，问题不在内容太少，而在状态码给出的信号前后矛盾：一会儿说页面不存在，一会儿又返回满满一屏正文。
状态码是蜘蛛判断页面去留的第一信号
搜索引擎给每个站点的抓取额度是有限的。对入口页这种数量多、单页价值不高的页面来说，状态码承担的主要是筛选作用：哪些页值得再来，哪些可以不再看。返回 200 表示可以正常抓取；返回 404、410 表示不用再来；返回 5xx 表示这次没拿到，可以稍后再试。蜘蛛并不会因为某个入口页返回 200 就提高整站权重，但会因为你反复给出错误信号而降低对这批 URL 的信任。
各类状态码在入口页里的适用场景
200 与 304：正常供给
能正常打开、内容完整、和 URL 主题一致的入口页，返回 200 即可。如果页面内容没变，通过 If-Modified-Since 或 ETag 返回 304，可以让蜘蛛少下载一次正文，把额度留给其他 URL。需要注意 304 的响应头必须准确，否则蜘蛛可能误判页面长期未更新。
301 与 302：迁移与临时调整
入口页换路径、合并重复页面时用 301，蜘蛛会把原 URL 的抓取记录转到新地址。302 只适合短期跳转，比如临时切换测试版本。如果一批入口页长期 302 跳到目标站，蜘蛛会把它当作跳转层而不是内容页，抓取深度和频次都会受影响。
404 与 410：主动清理
已经下线、不打算再用的入口页，返回 404 或 410 比返回一个空壳 200 更干净。410 语义更明确，表示永久移除，蜘蛛处理速度通常更快。前提是这个 URL 确实不再需要，不要今天 410、明天又改回 200。
429 与 503：限流与维护
源站压力大时可以短时返回 503，并带上 Retry-After 说明多久后再来。429 用于限制请求频率。两者都不适合长期挂着，蜘蛛连续多次遇到 5xx，会降低对该目录乃至该域名的抓取频率，恢复起来比较慢。
容易踩的几个坑
- 软 404：页面已经没内容，却仍返回 200，蜘蛛继续抓取，额度被消耗在无价值页面上。
- 批量 302 到目标站：入口页只做跳板，缺少自身可抓取内容，蜘蛛容易判定为低质跳转集合。
- 长时间 5xx：服务器不稳定导致大面积 503，蜘蛛会暂时减少访问，恢复后也需要一段时间重新观察。
- 状态码与正文不一致：返回 404 却输出完整页面，或返回 200 却只有一句“页面不存在”，都会让蜘蛛的判断打折扣。
- 重定向链太长：入口页到最终落地经过多跳，每跳都可能被重新评估，抓取效率明显下降。
自查与监控怎么做
- 用命令行或抓取工具批量请求入口页，只记录状态码和跳转链，不看正文。
- 把返回码和入口页分组对照：正常组、待下线组、限流组分别存放。
- 检查服务器日志中蜘蛛 UA 命中的状态码分布，确认 4xx、5xx 的占比是否异常。
- 对跳转页单独统计，确认每条的跳转层级和最终落地页是否一致。
- 改动状态码后隔几天复看一次，观察蜘蛛抓取量是否出现异常波动。
状态码本身不产生排名，它只是告诉蜘蛛“这个地址现在是什么状态”。把这个信号说清楚、说一致，比反复调整入口页数量更实际。
把入口页的状态码当成一份对外声明来维护：能用的稳定返回 200，内容变了及时给 304，决定放弃的就干脆给 404 或 410，临时故障才用 503。声明越一致，蜘蛛在这批 URL 上的判断成本越低，抓取行为也越接近你的预期。