入口页铺下去之后，很多人只关心加，不太关心减。实际上蜘蛛池跑一段时间，入口站的表现会明显分层：有的页蜘蛛隔三差五就来，有的页几个月不见一次抓取，还有的页已经被降权或判定为低质。这时候如果只加不减，池子会越来越臃肿，维护成本上去了，蜘蛛的抓取效率反而被稀释。
一、什么情况下该考虑淘汰
- 长期零抓取：连续 30 到 60 天日志里没有任何蜘蛛访问记录，并且不是刚上线的新页面。
- 抓取有来无回：蜘蛛进了入口页，但从不跟随出站链接，连续多批都是这样。
- 状态异常：频繁 5xx、被 CDN 拦截、证书过期、跳转链路断掉，修了几次仍然不稳定。
- 主题漂移：入口页原本的主题已经跟目标站差得很远，链接上下文对不上。
- 资源本身出问题：域名被标记、服务器 IP 段整体异常，换页也救不回来。
注意这里说的是考虑，不是一键删除。先判断是页面问题还是资源问题，资源问题换页没用。
二、下线方式：别一刀切
很多人淘汰入口页就是直接删库，结果蜘蛛下次来吃 404，入口站的可信度又掉一截。比较稳妥的做法是按情况分开处理。
1. 直接 404 或 410
适合本来就没什么抓取、也没有外部链接指向的页面。410 比 404 更明确，等于告诉蜘蛛这是永久移除。但不要一次把大批页面同时改成 410，蜘蛛会认为站点结构发生了大变动。
2. 301 到同站的其他入口页
适合该页面还有一定抓取、只是内容不再维护的情况。跳转目标要主题相近，别从机械配件跳到母婴用品，这种跳转对蜘蛛来说没有意义，也不会有跟随。
3. 保留页面，停止更新
有些页蜘蛛来得挺勤，只是你自己不想再维护。这种情况可以留着，把内容保持原样，不做改动。蜘蛛对稳定页面的处理通常比频繁变动的页面更省心。前提是页面本身没有违规内容。
三、替换节奏怎么排
替换和铺量一样，节奏比数量重要。可以参考下面的顺序。
- 先补新页，再下旧页。新入口页上线，并且日志里确认有蜘蛛来过之后，再处理旧页。
- 分批操作，单次不超过总量的 10% 到 20%。
- 两批之间至少隔一到两周，观察抓取量有没有异常波动。
- 如果整体抓取量明显下滑，先暂停下一批，回去查是不是资源层出了问题。
四、轮换期间盯哪几个数
- 入口站日志里的蜘蛛总抓取次数，按天看趋势。
- 出站链接被跟随的比例，也就是蜘蛛进了入口页之后往下走的比例。
- 目标站被访问的次数，前提是目标站能看日志。
- 状态码分布，特别是 4xx 和 5xx 的占比。
只看蜘蛛来了多少次是不够的，来了不走等于白来。
淘汰入口页的目的不是把数字做好看，而是让有限的抓取预算落在还能用的页面上。池子小一点、干净一点，通常比又大又杂更好维护。
五、几个常见误区
误区一：抓取少就删。新页面前两周抓取少很正常，先给点时间，判断标准放在 30 天以上更合理。
误区二：一次性大清洗。入口站短时间内大批页面消失，蜘蛛会重新评估整个站点，恢复周期可能比你想象的更长。
误区三：删完不补。淘汰之后要有新页接上，否则入口站的活跃度会一路下滑，再想拉起来成本更高。
误区四：只看收录不看抓取。收录是结果，抓取是过程。过程断了，结果自然会掉。
把淘汰当成常规动作，而不是出问题才做的补救，入口页的整体质量会稳一些。