蜘蛛池跑一段时间后，入口页打不开、目标页跳走、域名临时故障这类情况几乎躲不掉。多数人把注意力放在新增入口页上，很少回头处理已经失效的旧页面。但失效本身不是最麻烦的，麻烦在于爬虫会怎么记住这些失效，以及它们会不会继续把抓取次数花在上面。
爬虫遇到 404 时实际发生了什么
返回 404，意思是这个地址上没有内容。爬虫一般不会因为一条 404 就把整个站点判成不可信，但它会记录这个 URL 的状态，并调整后续的访问安排。单条 404 通常影响有限，同一目录下成片出现 404，才容易触发目录级的降频。
- 孤立的 404：爬虫可能还会再试探一两次，然后放弃
- 成片的 404：该目录的重访周期会被拉长，抓取频次下降
- 404 页面却返回 200：爬虫会当成正常页面反复抓取，消耗更多预算
所以重点不是有没有 404，而是 404 是否集中出现，以及状态码是否和实际内容一致。
软 404 与“假活着”的入口页
服务器返回 200，页面本身却是空的、只剩一句“内容不存在”，或者只有一个空壳模板。这种情况对爬虫更不友好：它拿到的信号是“页面正常”，于是可能持续回访，既占抓取预算，也不产生有效的链接传递。入口页本来承担的是被发现的职责，如果它只能返回 200 却没有任何可读内容和可用链接，那它在池子里的作用其实已经接近于零。
状态码是给爬虫看的第一层信号，页面内容才是第二层。两层不一致，爬虫就容易做出错误判断。
入口页失效后，链接路径怎么散掉
入口页的价值在于它是外链和内部链接的落点。一旦入口页失效且没有替代地址，挂在它上面的链接就失去了被继续爬取的路径。爬虫不会替你去找新入口，它只会沿着已经发现的链接走。失效页面越多，能继续往下走的路径就越少，池子的实际覆盖范围会慢慢收缩。这个过程不一定剧烈，但会持续发生。
处理节奏：什么时候清理，什么时候保留
失效页面不是一律删掉，也不是一律留着。可以按下面的顺序判断：
- 先确认失效原因，是临时故障、内容迁移，还是页面确实不再需要
- 短期故障的页面，返回 503，让爬虫知道是暂时不可用，而不是永久消失
- 确认永久失效的页面，返回 404 或 410，把状态说清楚
- 有对应替代页面的，做 301，并且尽量一步到位
- 确认无用的页面，让它明确 404，同时停止在内部继续链接它
顺序上的关键是先判断再动手。很多人习惯直接返回 404 或直接 301，结果临时故障被当成永久失效，或者一个页面在 301 之后又继续被内部链接指向，状态反复变化，反而让爬虫难以稳定理解。
301 链和跳转的注意点
目标页搬家时，跳转链路越短越好。A 跳 B、B 跳 C 这种链式跳转，会让爬虫多花一次甚至几次访问才能到终点，部分爬虫对过长的跳转链会降低处理优先级。另外，跳转目标最好是稳定地址，不要今天跳到这个页、明天跳到另一个页。入口页跳转目标频繁改动，等同于让爬虫反复重新确认，效率并不高。
定期检查死链的实用做法
- 定期把入口页列表跑一遍，记录每个地址返回的状态码
- 把 4xx 和 5xx 分开看：前者多是内容问题，后者多是服务问题
- 特别关注持续返回 404 的旧入口页，以及返回 200 却没有有效内容的页面
- 检查完就处理，不要只记录不动作，问题会随入口页数量增加而放大
死链处理不是一个单独的清理动作，而是维护池子抓取效率的一部分。失效页面的数量会随着时间自然增长，定期检查和处理能让爬虫把有限的访问次数花在还能走通的路径上。把失效信息明确地告诉爬虫，通常比让它们反复撞在同一批打不开的地址上要划算。