蜘蛛爬到入口页时，第一件事并不是读内容，而是先看服务器回了什么状态码。这行数字决定了它接下来是继续抓、过段时间再来，还是干脆把这个 URL 从待抓队列里划掉。很多蜘蛛池的问题不在页面写得好不好，而在于服务器在开口第一句就说错了话。

状态码说的是“这个 URL 现在是什么情况”，而不是“我希望蜘蛛怎么想”。

常见状态码分别代表什么

200：正常，但要小心“软 404”

200 表示内容正常返回，这是最常见的期望值。需要注意的是另一种情况：入口页内容已经清空、只剩一个模板壳，服务器依然回 200。蜘蛛读完之后拿不到有效信息，久而久之会把这类页面判定为低价值，减少回访。空壳页最好老老实实处理掉，而不是靠 200 硬撑。

301 与 302：跳转要分清永久和临时

301 是永久跳转，适合入口站换域名、目录结构调整这类不再回头的改动；302 是临时跳转，蜘蛛一般会保留原 URL 继续观察。把本该 301 的改动写成 302，蜘蛛可能长期去敲旧地址；反过来，把临时页面写成 301，日后改回来又要多绕一圈。另外跳转尽量一步到位，避免 A→B→C 的链式跳转，每多跳一层，就多一次被放弃的理由。

404 与 410：清理死链的正常手段

页面确实不存在了，就返回 404；确认永久移除，可以用 410。两者都是明确信号，能帮助蜘蛛尽快把无效 URL 从队列里清出去。真正麻烦的是错位：该 404 却回 200，制造出软 404；该保留却回 404，会把还在用的入口页提前判死。

403、429、503：挡与让之间的分寸

403 是明确的拒绝，蜘蛛收到后会降低对该站点的抓取意愿，除非确有必要的防护，不建议对正常蜘蛛使用。429 表示请求过于频繁，属于限流信号，蜘蛛通常会放慢速度改天再来，这是可控的退让。503 表示服务暂时不可用，适合短时维护窗口；如果长期回 503，蜘蛛会逐渐把这个站点归为不稳定，抓取频率随之下降。

状态码抖动，比状态码本身更麻烦

同一个入口页，今天 200、明天 503、后天又 200，这种反复会让蜘蛛难以判断站点到底是什么状态。宁可稳定地回一个不那么理想的状态码，也不要频繁切换。抓取频率一旦被调低，恢复速度通常比下降速度慢得多。

建议：让状态码说真话

• 入口页正常就给 200，内容清空了就别硬撑；
• 永久改动用 301，临时改动用 302，跳转链条尽量短；
• 确实不存在的页面给 404 或 410，不要用 200 兜着；
• 限流用 429，短时维护用 503，并控制持续时间；
• 在日志或监控里按状态码做一次统计，看看入口站是否在无意中把蜘蛛往外推。

把状态码当成与蜘蛛沟通的语言，而不是可以随手拨弄的开关，入口页的抓取表现往往会稳定一些。它不保证收录或排名，但至少能让蜘蛛每次来的时候，知道自己在面对什么。