蜘蛛池不是只进不出的仓库。入口页上线之后，抓取情况会随着时间和站点状态变化，有些页面逐渐失去作用，有些则会占用本该留给新页面的抓取份额。建立一套淘汰与替换的规则，比一味增加入口页更容易维持整体效率。
哪些入口页应该考虑退出
判断依据主要是抓取记录，而不是页面的更新时间。可以按下面几个信号做筛选：
- 连续两到四周没有任何蜘蛛请求记录，日志里查不到对应 URL
- 有请求但状态码长期异常，例如持续 5xx、反复 403
- 页面内容已经与站点主题脱节，只是为了凑数的空壳页
- 同一路径下的重复地址过多，同一内容被拆成多个 URL 且彼此争夺
- 已确认被站内其他页面完全替代，链接也不再指向它
退出不等于直接删除
删掉入口页会产生 404，蜘蛛再次访问时得到空结果，原本积累的发现路径也断了。更稳妥的做法是分步处理：先取消站内的横向链接，让它不再被引导；观察一段时间抓取频次是否下降；确认没有价值后，再做 301 指向新的等价页面，或者保留一个简短的说明页。只有确定不再需要时，才让它返回 404。
替换节奏与抓取份额的衔接
入口页数量增加后，蜘蛛的抓取总量并不会同步增加。替换时最好遵循“先出后进”或小幅交替，而不是一次性批量上新。可以按下面的顺序走：
- 先确认要退出的页面已经从站内链接中移除
- 观察一到两周，确认抓取量没有异常波动
- 再分批上线新入口页，每批控制在原有数量的一个较小比例
- 新页面先保证可访问、内容完整，再考虑加链接
- 上线后回到日志里核对，看新地址是否开始出现请求
替换时常见的几个错误
- 把旧页面直接 301 到首页，等于把信号集中到一个通用地址
- 新页面内容与旧页面高度雷同，只是换了域名或路径
- 一次替换太多，导致日志出现大量首次访问却无后续
- 只替换 URL 不更新站内链接，蜘蛛顺着旧链接反复访问 404
和资源接入一起考虑
如果是通过收购、互换得到的站点资源，淘汰判断要和资源本身的稳定性一起看。对方站点如果本身就长期不可访问，入口页留在池子里只会拖慢整体抓取节奏。资源接入前先做一遍基础检查，接入后定期复核，比事后补救省事。
把淘汰和替换当作一项例行工作，而不是出问题后的应急手段。每月整理一次抓取记录，往往比新增一批页面更有用。
蜘蛛池的效果取决于页面是否真的被访问、被跟随，而不是池子里有多少条记录。定期清理无效入口，给有效入口留出抓取份额，长期看更接近稳定状态。