蜘蛛进入入口页时，第一眼看到的不是标题和正文，而是 HTTP 状态码。它像一道门槛，决定蜘蛛是继续读取、转换地址，还是直接放弃。很多蜘蛛池入口页的问题，追到根上不是内容差，而是状态码给错了信号。

200：默认状态，也是软 404 的温床

正常可访问的页面返回 200。入口页绝大多数时候都应该是 200。但 200 不代表页面就有价值。如果入口页模板高度重复、正文只有几行占位文字，或者所有页面返回的 HTML 几乎一样，蜘蛛虽然拿到了 200，也会把这类页面归到低质量里。更麻烦的是“软 404”：页面实际已经不存在，服务器却仍然返回 200，并展示一个空模板或统一的“无内容”页面。蜘蛛需要多轮抓取才能确认这是空壳，浪费的是抓取预算。

301 和 302：跳转要用对地方

入口页需要把蜘蛛引向目标页时，跳转是常见做法。301 表示永久跳转，蜘蛛会把权重和索引逐渐转移到新地址；302 表示临时跳转，蜘蛛通常仍会保留原地址，并可能反复回来抓取。如果你确定入口页只是中转，且目标地址长期不变，优先用 301。如果只是临时活动或测试，用 302，但不要让它长期挂着。

另一个细节是跳转链长度。入口页 A 跳 B，B 再跳 C，蜘蛛每多跟一跳就多一层不确定性。最好让入口页直接跳到最终目标，不要串三四个中间地址。

404 和 410：该消失就让它消失

页面确实不存在时，返回 404 是诚实的做法。410 表示永久删除，语义更明确。有些站点为了留住流量，把不存在的页面 404 后跳转到首页，或者返回 200 并展示推荐内容。对蜘蛛来说，这容易形成软 404 或跳转混乱。入口页被删除、合并或迁移后，如果旧地址不再使用，保持 404 比强行跳首页更干净。如果整批入口页要下线，也可以考虑用 410 告诉蜘蛛不必再来。

503 和 429：临时状态的正确用法

服务器维护、过载或限流时，可以用 503 表示暂时不可用，并配合 Retry-After 头告诉蜘蛛多久后再来。429 表示请求过多，适合限流场景。这两种状态是“临时”的，不适合长期使用。如果入口页连续几天甚至几周返回 503，蜘蛛会降低抓取频次，严重时可能把页面从抓取队列里移除。维护结束后要尽快恢复 200，并观察日志里蜘蛛是否重新回来。

常见误区与检查建议

• 所有页面一律返回 200，包括空页面和错误页面，形成大量软 404。
• 用 302 做永久跳转，导致蜘蛛反复抓取旧入口页。
• 页面内容已经删除，状态码却还是 200，或者 404 后立即跳首页。
• 维护时返回 200 但内容显示“网站维护中”，蜘蛛会当作正常页面处理。
• 跳转链过长，入口页到目标页中间隔了多次 301/302。

检查时不需要复杂工具，用 curl -I 或浏览器开发者工具看响应头就能发现大部分问题。建议定期抽检一批入口页，记录状态码变化，并结合服务器日志观察蜘蛛对异常状态的反应。如果发现某批页面长期返回 503 或 404，先确认是配置问题还是页面确实下线，再决定修复还是清理。

状态码是蜘蛛判断页面可用性的基础信号。把它设对，比在内容上反复补救更省事。