入口页返回什么状态码，看似是服务器层面的小事，实际上决定了蜘蛛对这批 URL 的第一判断。蜘蛛池负责让 URL 被发现，如果状态码给错，很多发现动作会停在第一步。
状态码在蜘蛛池里解决什么问题
蜘蛛抓取一个 URL 时，最先处理的是响应状态。它不看内容质量，先看这个地址是否可达、是否需要跳转、是否已经不存在。状态码决定了蜘蛛下一步：是抓正文、跟跳转，还是从待抓队列里移除。
入口页数量通常不小，一旦状态码策略不统一，会出现同一批页面有的被抓、有的被跳过，排查起来很难定位。所以先定规则，再批量执行，比逐个页面调优更有效。
200：入口页的默认状态
正常可抓取的入口页返回 200，这是最省事也最常见的做法。需要注意两点：
- 状态码与内容要一致。返回 200 的页面应当有实际内容，哪怕只是简短说明、聚合列表或导航。
- 避免空壳 200。页面能打开但几乎没内容，搜索引擎会按软 404 处理，效果接近 404，甚至更差。
301 与 302：跳转怎么用
入口页需要换地址时，用 301 表示永久迁移，蜘蛛会把记录逐步转移到新地址。入口页整合、批量替换旧域名时，这是比较稳妥的做法。
302 是临时跳转，适合短期切换，比如入口页临时维护、A/B 阶段。但如果入口页长期 302 到目标站，问题就比较明显：
- 蜘蛛每抓一次都在处理跳转，入口页自身很难形成稳定记录；
- 跳转链越长，抓取预算消耗越多，最终可能停在中间某一步；
- 目标站被大量重复的跳转指向，反而容易触发去重判断。
把入口页做成纯跳板，本质上放弃了入口页本身的作用，只在 URL 发现层面留有少量价值。
404 与 410：下线时怎么选
两者都表示页面不可用，区别在于确定性。404 是暂时找不到，410 是明确已删除。对蜘蛛来说，410 的移除信号更干脆，处理速度通常也更快。
下线入口页时，建议：
- 页面彻底不用了，返回 410；
- 只是暂时故障、之后会恢复，返回 404 或 503，别直接 410；
- 不要用 200 空页糊过去，这种做法既误导蜘蛛，也浪费自己的巡检时间。
503 与维护窗口
服务器维护、后端异常导致的短期不可用，用 503 配合 Retry-After 更合适。它告诉蜘蛛稍后再来，而不是这个页面没了。把可恢复的故障写成 404，等于是主动放弃了已有的入口页记录。
状态码要和其他信号对齐
状态码不是孤立信号。入口页返回 301 时，sitemap 里就不该再列出旧地址；入口页返回 410 时，内链和站点导航要同步清理，否则蜘蛛反复通过内链回来撞 410，浪费抓取次数。
常见的不一致组合包括：状态码 200 但 robots 里 noindex；301 跳转后 canonical 仍指向旧地址；410 页面还留在 sitemap 中。这些都会让蜘蛛的判断变模糊。
判断标准很简单：你希望蜘蛛对这个 URL 做什么，就让状态码、canonical、robots、sitemap 指向同一个结论。
排查顺序
- 用 curl 或浏览器开发者工具看首字节的状态码，不要只看页面是否打得开；
- 确认是否存在跳转链，逐跳记录状态码和最终地址；
- 对比 sitemap、内链、canonical 与当前状态是否一致；
- 查看服务器日志里蜘蛛命中的状态码分布，找异常集中的那批入口页；
- 批量修正后观察一段时间，别频繁改动同一批入口页。
状态码是最基础的信号，也是最容易被忽略的环节。把规则定清楚、批量执行，剩下的交给时间和日志验证。