入口页不是一次性投入。跑得越久，入口页的数量只会越来越多，其中一部分会慢慢失效：域名被墙、IP 被回收、程序出错、页面被挂马，或者目标站的 URL 早就换了一批。如果不做巡检和下线，这些已经没意义的页面会一直占着域名、IP 和服务器配额，还会给后续排查带来大量噪音。
巡检要看的几类信号
巡检的目的是把"还在正常工作的入口页"和"已经没意义的入口页"分开。可以从三个方向看。
抓取侧
- 日志里还有没有真蜘蛛来访。连续几周完全没有抓取记录，同时其它入口页抓取正常，基本可以判定这个入口页已经不被发现了。
- 蜘蛛访问返回的状态码。如果大量出现 5xx 或 403，先排查服务器和 WAF，不要急着下线。
- 抓取路径。蜘蛛来了但只抓入口页、不顺着链接往下走，问题多半在链接布局或页面结构，而不是入口页本身。
站点侧
- DNS 解析是否正常，TTL 有没有被人改动过。
- 证书是否临近过期，HTTPS 页面是否有混合内容。
- 服务器负载和带宽是否被某几个入口页拖住。
外部侧
- 域名是否被挂马，或被跳转到无关站点。
- 域名是否进入了浏览器厂商或安全软件的风险名单。
- 所在 IP 段是否被目标搜索引擎整体降权。
什么情况下应该下线
下面这些情况，继续维护的收益通常低于成本：
- 入口页连续较长时间零抓取，排查后确认不是服务器、解析或 WAF 的问题。
- 域名历史被查出问题，且已经被搜索引擎降权。
- IP 或整个 IP 段被拉黑，换 IP 的成本已经高于换一个入口页。
- 入口页被挂马或被改内容，短时间内无法恢复干净。
- 目标站对应的 URL 已经删除或改版，入口页还指向旧地址。
- 同一个目标 URL 已经被大量入口页覆盖，新增入口页的边际价值很低。
需要区分"零抓取"和"抓取少"。有些入口页的抓取频率本来就低，只要还在被定期访问，就不必急着处理。
下线方式怎么选
返回 404 或 410
如果确定这个入口页不再使用，比较干净的做法是让它返回 404 或 410，并保持一段时间。让蜘蛛自己把 URL 从发现队列里淘汰，比突然让域名解析失败要温和得多。
301 到其它入口页
301 适合"入口页本身还有价值、只是要换地址"的场景，比如域名到期换域名。但如果是因为被降权而下线，把已有的状态一起 301 到新入口，可能把问题也带过去，这时直接停掉反而更省事。
停止解析或不再续费
批量入口页用得多时常见的做法。短时间内大规模停解析会比较突兀，建议分批做，不要一次把整段 IP 或整个域名后缀全部断掉。
下线之前先确认一件事：这个入口页到底有没有在给目标站带来 URL 发现。如果日志里从来没有出现过目标 URL 的身影，那它可能从上线起就没起作用，问题不在"要不要下线"，而在"当初是怎么配的"。
替换的节奏
下线通常和新增一起做。比较稳的节奏是：
- 先加新入口页，观察一段时间抓取是否正常。
- 确认新入口页在日志里稳定出现后，再动手处理旧入口页。
- 旧入口页分批下线，间隔开，不要和新入口页在同一天操作。
- 保留一份入口页清单，记录域名、IP、上线时间、绑定目标 URL 和当前状态。
把清单维护起来
入口页数量上去之后，靠记忆管理不现实。哪怕只是一张简单的表格，记录每个入口页的域名、解析状态、IP、绑定的目标 URL 和最近一次看到蜘蛛的时间，也能让巡检从"凭感觉"变成"按条件筛选"。真正省时间的不是下线这个动作本身，而是提前知道哪些入口页已经不值得再投入成本。