入口页上线的时候通常有人盯着：域名、模板、内容、跳转都有人过一遍。但下线这件事，往往没人管。一批入口页跑不动了，是直接删掉、留着不管，还是做个跳转，处理方式不同，后续爬虫的表现差别不小。
先分清是单页问题还是批次问题
决定下线之前，先把范围确认清楚。是某个入口页自己出了问题，还是这一批页整体都不值得再留？这两种情况的处理方式完全不同。
- 单页级别：页面本身内容缺失、跳转失效、返回异常状态码，属于个案，单独处理即可，不必牵连整批。
- 批次级别：同一批入口页长期没有产生有效抓取，日志里的访问频次持续走低，或者目标页已经整体调整，那就要考虑整批退场。
判断依据尽量看数据，不看感觉。连续几周的抓取日志、状态码分布、跳转目标是否还能打开，这些比“感觉这批没什么用”可靠得多。
什么情况下该让入口页下线
目标页已经不存在
入口页的价值在于把爬虫引到目标页。如果目标页已经下线、改版或合并，入口页还留在那里继续被爬，就是把抓取预算花在一条断掉的路上。
页面长期返回异常
如果一批入口页持续返回 5xx 或长时间超时，爬虫会逐渐降低访问频率，甚至影响同一主机下其他正常页面的抓取节奏。这种损耗是隐性的，但确实存在。
内容与站群整体方向偏离
入口页的主题如果和现在的运营方向已经无关，留着更多是负担。既不产生有效跳转，又要消耗维护精力。
404、410 和 301，分别意味着什么
- 410：明确告诉爬虫这个页面永久移除。适合确定不再恢复的页面，态度比 404 更干脆。
- 404：页面不存在。多数情况下可用，但爬虫可能会在一段时间内反复回访确认。
- 301：永久跳转。适合页面被整合到新地址的情况，前提是新地址确实能承接原来的作用。
不要用 302 做长期下线处理，也不要让一批页面直接返回 200 却只放一句“页面已删除”，那等于把死链伪装成正常页，反而更容易被反复抓取。
下线不是删干净就完事，关键是把“这页不再需要被抓”这个信号，用爬虫能读懂的方式说清楚。
批量下线该按什么节奏
几百上千个入口页一次性全部处理，容易造成状态突变，日志上看起来像是整站出了问题。更稳妥的做法是分批推进：
- 先选一小部分确定无效的页面做处理，观察一到两周的抓取变化。
- 确认没有连带影响后，再按批次扩大范围。
- 每一批都保留处理记录，包括下线时间、方式、原因，方便后续回溯。
同时注意，下线期间不要在站内继续给这些页面做内链。一边下线一边引流，等于自己跟自己较劲。
下线之后还要看什么
处理完不等于结束。接下来几周要重点关注：这些 URL 是否还在被抓取、返回的状态码是否稳定、同一批其他正常入口页的抓取频次有没有被带低。如果发现某个主机下正常页面的抓取量明显下降，需要回头检查是不是下线动作过于集中。
另外，死链清理是长期工作，不是一次性任务。入口页会持续产生、持续老化，把下线纳入常规流程，比出了问题再集中处理要省事得多。