入口页跑一段时间后，总会出现一批打不开的 URL：改过路径的、被删掉的、域名到期没续的。这些失效链接如果放着不管，爬虫每次来访都会撞上一堵墙，抓取次数被白白消耗，入口页整体的抓取反馈也会变差。处理失效链接不算难，难的是选对状态码。
先分清三种状态码的区别
- 301（永久跳转）：旧地址的内容搬到了新地址，且新地址内容基本等价。适合改版、换目录、合并页面。
- 404（未找到）：页面暂时不存在，或者你暂时不确定要不要恢复。爬虫会在一段时间内反复回来确认。
- 410（已删除）：页面确定不再存在，而且没有替代页。这是一个“别再来了”的明确信号，爬虫确认后通常会更快放弃这个地址。
简单说：有等价新页就 301，没有替代且确定不做了就 410，介于两者之间、可能恢复的就先用 404。
三种常见误用
把死链全部 301 到首页
这是最省事也最伤的做法。几十上百个不相关的旧地址全部指向首页，会被理解成一批没有意义的跳转，既不会给首页带来什么，也让原本的失效信号变得混乱。批量跳转只适合结构上确实等价的页面。
返回 200 的“软 404”
页面明显已经没有内容，服务器却还返回 200，用户和爬虫看到的是“这个页面正常，只是内容很空”。这类页面留在入口页集合里，只会持续消耗抓取次数。判断方法很简单：看返回码，不看页面上写了什么。
一边 410，一边继续挂链接
一边告诉爬虫页面已删除，一边在入口页里继续挂着这个链接，两个信号会互相抵消。决定放弃某个地址，就把它从入口页的链接列表里也一并撤掉。
状态码描述的是资源本身的状态，入口页的链接列表描述的是你希望爬虫去的地方。两者不一致时，爬虫的行为往往会跟着链接走，而不是跟着状态码走。
一个可执行的清理流程
- 定期扫描入口页集合，把非 200 的地址单独列出来。
- 逐个判断：有没有内容等价的新地址？有就 301，没有就 410，或者先用 404 观察一阵。
- 检查跳转是否只有一跳。A→B→C 这种链式跳转会削弱信号，尽量收敛成一跳。
- 把决定放弃的地址从入口页链接里移除，别让它们继续被访问。
- 观察一段时间日志，确认这些地址的访问量在下降。
几个容易忽略的细节
- 跳转目标要相关。301 到不相关的页面，效果接近于什么都没做，甚至不如直接 410。
- 不要用失效页当入口。入口页的职责是承接抓取，返回 404 或 410 的地址不适合放在这一层。
- 批量生成的页面要留记录。没有清单，过几个月就分不清哪些地址是主动放弃的、哪些是意外挂掉的。
- 停用不等于删除。如果只是暂时停止投放，保留 200 但撤掉互链也可以，不必急着改成 410。
失效链接处理是一件长期的小事，不会立刻带来什么变化，但能让入口页集合保持干净。对整个蜘蛛池来说，干净意味着爬虫把有限的访问次数花在真正需要被抓的地方。