蜘蛛池里最容易被忽略的环节，不是怎么建入口页，而是入口页不好用了之后怎么处理。建的时候大家都比较认真，跑起来之后一堆页面状态不明，链接还在到处指，抓取配额就这么被慢慢磨掉。
先分清三种“失效”
很多人一看入口页打不开就急着删，其实值得先分类。
- 临时异常：服务器超时、证书过期、DNS 抖动。这类页面本身没问题，处理方向是修，不是删。
- 内容失效：页面还在，但内容已经被换掉、退化成导航页，或者被抓成一个几乎没有文字的模板。抓取价值已经很低。
- 长期不可用：域名不再续费、路径被永久移除、服务器长期返回 5xx。这类才需要考虑回收。
三类的处理动作完全不同，混在一起做，通常会把还能用的页面误伤掉。
判断依据看什么
我的习惯是看三样东西，缺一样都容易判断错。
- 状态码的稳定性：偶尔一次 503 说明不了什么，连续多天 5xx 才有参考价值。
- 回访信号：入口页的访问日志里，近一段时间还有没有蜘蛛的请求。长时间没有，说明这条路径在抓取层面已经冷掉了。
- 入口页自身的状态：如果入口页本身已经从索引里消失，并且看不到恢复迹象，回收优先级可以适当提前。
状态码只是结果，日志才是过程。只看状态码，容易把“短暂的抽风”当成“永久下线”。
下线的方式不一样，后果也不一样
决定要不要下线之前，先想清楚用哪种方式下线。
- 返回 503：适合短期维护，但要留意别让它长期挂着，长期 503 对抓取并不友好。
- 返回 404：表示暂时找不到，但页面本身不一定被彻底放弃。
- 返回 410：态度比较明确，就是永久移除，适合确实不再维护的路径。
- 保留页面但摘掉链接：如果页面本身还有价值，只是不想再让它承担分流作用，这种方式最温和。
现实里比较常见的失误是：入口页还在，但指向目标页的链接早就删了，页面变成一个空壳，蜘蛛来了什么都没有。这种页面不如直接下线。
链接回收的顺序
入口页失效之后，指向它的链接如果继续存在，就会持续产生没有意义的抓取请求。回收建议按这个顺序来。
- 先处理自己站内指向它的链接，这部分你完全可控。
- 再处理同一批资源里互相引用的页面，避免出现互相指向的失效链。
- 最后看外部资源，能改的改，改不了的至少不要再新增。
顺序反过来做，通常会发现站内还在往外散，外部已经在收缩，两边节奏对不上。
替换的节奏
替换不是把旧的一批一次性换掉，换成新的一批。比较稳妥的做法是分批进行，并且让新入口页有独立的 URL 和内容，不要复用旧 URL 直接改内容。
- 一批替换量控制在小比例，观察一段时间再决定下一批。
- 新入口页的内容和旧页不要高度相似，否则只是把重复的问题换个位置。
- 替换完成后，保留一段时间的日志观察，再决定旧页面是 410 还是彻底清理。
几个常见的坑
- 一刀切 410：把还有回访的页面也一起处理掉，等于主动放弃已有的抓取路径。
- 链接指向 404 长期不动：页面早就没了，入口页上还挂着链接，蜘蛛每次来都撞一次空。
- 新旧页面内容几乎一致：替换之后并没有带来新的抓取价值。
- 没有记录：谁在什么时候换的、换了哪批，过两周自己都记不清。
维护上的建议
把这件事做成固定流程，比零散处理有效。每周扫一遍入口页的状态码和日志，把连续异常和长期没有回访的挑出来，形成待处理清单；清单上的页面按“修复优先、替换其次、回收最后”的顺序处理。
入口页的失效处理不会直接带来什么可见的收益，但它决定你现有的抓取路径是不是在浪费。少一点无效请求，剩下的部分才有机会被用起来。