入口頁不是一次性投入。跑得越久，入口頁的數量只會越来越多，其中一部分會慢慢失效：域名被墙、IP 被回收、程序出错、頁面被挂马，或者目标站的 URL 早就換了一批。如果不做巡检和下线，這些已经没意义的頁面會一直占着域名、IP 和服務器配額，還會给後續排查带来大量噪音。
巡检要看的几類信号
巡检的目的是把"還在正常工作的入口頁"和"已经没意义的入口頁"分開。可以從三個方向看。
抓取侧
- 日誌里還有没有真蜘蛛来訪。连續几周完全没有抓取记錄，同时其它入口頁抓取正常，基本可以判定這個入口頁已经不被發現了。
- 蜘蛛訪問返回的狀態碼。如果大量出現 5xx 或 403，先排查服務器和 WAF，不要急着下线。
- 抓取路径。蜘蛛来了但只抓入口頁、不顺着連結往下走，問题多半在連結布局或頁面结构，而不是入口頁本身。
站点侧
- DNS 解析是否正常，TTL 有没有被人改動過。
- 證书是否临近過期，HTTPS 頁面是否有混合内容。
- 服務器负载和带宽是否被某几個入口頁拖住。
外部侧
- 域名是否被挂马，或被跳轉到無關站点。
- 域名是否進入了浏览器厂商或安全软件的風險名單。
- 所在 IP 段是否被目标搜尋引擎整体降權。
什么情况下應该下线
下面這些情况，繼續维護的收益通常低于成本：
- 入口頁连續較長時間零抓取，排查後確認不是服務器、解析或 WAF 的問题。
- 域名歷史被查出問题，且已经被搜尋引擎降權。
- IP 或整個 IP 段被拉黑，換 IP 的成本已经高于換一個入口頁。
- 入口頁被挂马或被改内容，短時間内無法恢复干净。
- 目标站對應的 URL 已经刪除或改版，入口頁還指向舊地址。
- 同一個目标 URL 已经被大量入口頁覆盖，新增入口頁的邊际價值很低。
需要区分"零抓取"和"抓取少"。有些入口頁的抓取频率本来就低，只要還在被定期訪問，就不必急着處理。
下线方式怎么選
返回 404 或 410
如果确定這個入口頁不再使用，比較干净的做法是让它返回 404 或 410，並保持一段時間。让蜘蛛自己把 URL 從發現队列里淘汰，比突然让域名解析失敗要温和得多。
301 到其它入口頁
301 适合"入口頁本身還有價值、只是要換地址"的场景，比如域名到期換域名。但如果是因為被降權而下线，把已有的狀態一起 301 到新入口，可能把問题也带過去，這时直接停掉反而更省事。
停止解析或不再續費
批量入口頁用得多时常见的做法。短時間内大規模停解析會比較突兀，建议分批做，不要一次把整段 IP 或整個域名後缀全部断掉。
下线之前先確認一件事：這個入口頁到底有没有在给目标站带来 URL 發現。如果日誌里從来没有出現過目标 URL 的身影，那它可能從上线起就没起作用，問题不在"要不要下线"，而在"当初是怎么配的"。
替換的节奏
下线通常和新增一起做。比較稳的节奏是：
- 先加新入口頁，观察一段時間抓取是否正常。
- 確認新入口頁在日誌里稳定出現後，再動手處理舊入口頁。
- 舊入口頁分批下线，間隔開，不要和新入口頁在同一天操作。
- 保留一份入口頁清單，记錄域名、IP、上线時間、绑定目标 URL 和目前狀態。
把清單维護起来
入口頁數量上去之後，靠记忆管理不現實。哪怕只是一張简單的表格，记錄每個入口頁的域名、解析狀態、IP、绑定的目标 URL 和最近一次看到蜘蛛的時間，也能让巡检從"凭感觉"變成"按條件篩選"。真正省時間的不是下线這個動作本身，而是提前知道哪些入口頁已经不值得再投入成本。