蜘蛛池通常从少量入口页起步，随着时间推移慢慢累积到几十、几百个。加页容易，减页难——很多人只关心怎么上新，却很少想清楚某个入口页已经没用了该怎么退场。直接删掉、随手返回 404 是最省事的做法，但也最容易让前面养起来的抓取节奏断掉。这篇文章聊的是淘汰判断和下线流程。
先判断：哪些入口页该淘汰
淘汰不等于失败，入口页本来就是消耗品。判断标准建议看日志，而不是凭感觉。
- 长期零抓取：连续几个月没有任何搜索引擎蜘蛛请求，也没有来自其他入口页的内链访问。
- 抓取正常但没有下游动作：蜘蛛来了，但从不顺着跳转进入目标站，日志里目标站看不到对应来源。可能是跳转链断了，也可能是内容太薄留不住。
- 状态码长期异常：反复 5xx、证书过期、跳转层数失控，修起来比重做一个还麻烦。
- 与目标站主题严重不符：早期为了凑数随手加的页，后期反而拉低整组的相关性。
- 资源占用与收益不成比例：单页磁盘或带宽占用偏高，但抓取量极低。
下线前先做减法，而不是直接删除
入口页在被蜘蛛记住之后突然消失，常见的表现是抓取频率下降、部分已发现 URL 变成无效地址。更稳妥的做法是分两步：先“降级”，再“退场”。
降级的动作包括：从其他入口页的导航和内链里移除它、停止更新、把页面上的跳转链接去掉或改成 nofollow。这样页面还在，但不再是流量通路的一部分。
观察期设多长合适
一般留一到两个抓取周期。如果你不清楚自己的周期，翻日志看这个页面上次被抓是什么时候，往前推两三个月基本够用。观察期内重点看两件事：目标站来源里是否还有它的影子、整组的抓取总量有没有明显波动。
三种下线方式与适用场景
- 返回 410：确认这个 URL 以后不再使用，也不打算把权重导向任何地方。适合内容重复、实验性质、以及被误加的入口页。410 表达比 404 更明确，蜘蛛处理通常也更快。
- 301 归并：这个入口页还有零星抓取，或者你已经用新页替代了它的角色。把它指向新的入口页，注意是新入口页，而不是直接跳到目标站——后者容易让蜘蛛把跳转关系理解成站点级重定向。
- 冻结保留：页面保留、内容不再更新、内链全部摘掉，只是不再维护。适合仍有稳定抓取、暂时不想动结构的页。冻结的成本是继续占用少量资源，好处是不打破已有节奏。
下线时容易踩的坑
- 一次性大批量下线。几十个页同时返回 410，抓取曲线会出现明显断崖，恢复需要时间。建议分批，一次处理总量的百分之十到二十。
- 用 robots.txt 屏蔽代替下线。屏蔽只是不让抓，URL 本身还在，长期看容易积累一堆“已知但无法确认状态”的地址。真要退场就给出明确状态码。
- 旧页的跳转还指向已下线目标。下线前把所有指向该页的链接、sitemap 条目、推送记录一并清理，否则蜘蛛会持续追一个死链。
- 域名到期没处理 DNS。用独立域名做入口页的，退场后别让域名直接过期，解析到空 IP 会产生大量解析失败记录，可能影响同组的其他域名。
- 监控和日志不同步。入口页下线了，但统计脚本还在跑，报表里会长期出现“零抓取”的噪音，干扰后面的判断。
下线后的收尾清单
- 确认 sitemap、导航、内外链中不再出现该 URL。
- 观察两到四周，确认目标站来源没有异常下跌。
- 把该页的记录归档，标注下线原因和日期，方便以后复盘。
- 如果整组规模缩小到某个阈值以下，考虑是否补充新页，而不是硬撑。
入口页的淘汰和新增一样，都是运营动作。把“关”这件事做干净，比不断往里加页更能说明你对自己的池子有数。