蜘蛛池通常從少量入口頁起步，随着時間推移慢慢累积到几十、几百個。加頁容易，减頁难——很多人只關心怎么上新，却很少想清楚某個入口頁已经没用了该怎么退场。直接删掉、随手返回 404 是最省事的做法，但也最容易让前面养起来的抓取节奏断掉。這篇文章聊的是淘汰判断和下线流程。
先判断：哪些入口頁该淘汰
淘汰不等于失敗，入口頁本来就是消耗品。判断标准建议看日誌，而不是凭感觉。
- 長期零抓取：连續几個月没有任何搜尋引擎蜘蛛請求，也没有来自其他入口頁的内鏈訪問。
- 抓取正常但没有下游動作：蜘蛛来了，但從不顺着跳轉進入目标站，日誌里目标站看不到對應来源。可能是跳轉鏈断了，也可能是内容太薄留不住。
- 狀態碼長期異常：反复 5xx、證书過期、跳轉层數失控，修起来比重做一個還麻烦。
- 與目标站主题嚴重不符：早期為了凑數随手加的頁，後期反而拉低整组的相關性。
- 资源占用與收益不成比例：單頁磁盘或带宽占用偏高，但抓取量极低。
下线前先做减法，而不是直接刪除
入口頁在被蜘蛛记住之後突然消失，常见的表現是抓取频率下降、部分已發現 URL 變成無效地址。更稳妥的做法是分两步：先“降級”，再“退场”。
降級的動作包括：從其他入口頁的導航和内鏈里移除它、停止更新、把頁面上的跳轉連結去掉或改成 nofollow。這样頁面還在，但不再是流量通路的一部分。
观察期设多長合适
一般留一到两個抓取周期。如果你不清楚自己的周期，翻日誌看這個頁面上次被抓是什么时候，往前推两三個月基本够用。观察期内重点看两件事：目标站来源里是否還有它的影子、整组的抓取總量有没有明顯波動。
三種下线方式與适用场景
- 返回 410：確認這個 URL 以後不再使用，也不打算把權重導向任何地方。适合内容重复、實驗性质、以及被誤加的入口頁。410 表達比 404 更明确，蜘蛛處理通常也更快。
- 301 归並：這個入口頁還有零星抓取，或者你已经用新頁替代了它的角色。把它指向新的入口頁，注意是新入口頁，而不是直接跳到目标站——後者容易让蜘蛛把跳轉關系理解成站点級重定向。
- 冻结保留：頁面保留、内容不再更新、内鏈全部摘掉，只是不再维護。适合仍有稳定抓取、暂时不想動结构的頁。冻结的成本是繼續占用少量资源，好處是不打破已有节奏。
下线时容易踩的坑
- 一次性大批量下线。几十個頁同时返回 410，抓取曲线會出現明顯断崖，恢复需要時間。建议分批，一次處理總量的百分之十到二十。
- 用 robots.txt 屏蔽代替下线。屏蔽只是不让抓，URL 本身還在，長期看容易积累一堆“已知但無法確認狀態”的地址。真要退场就给出明确狀態碼。
- 舊頁的跳轉還指向已下线目标。下线前把所有指向该頁的連結、sitemap 條目、推送记錄一並清理，否則蜘蛛會持續追一個死鏈。
- 域名到期没處理 DNS。用獨立域名做入口頁的，退场後別让域名直接過期，解析到空 IP 會产生大量解析失敗记錄，可能影响同组的其他域名。
- 监控和日誌不同步。入口頁下线了，但統計脚本還在跑，报表里會長期出現“零抓取”的噪音，干扰後面的判断。
下线後的收尾清單
- 確認 sitemap、導航、内外鏈中不再出現该 URL。
- 观察两到四周，確認目标站来源没有異常下跌。
- 把该頁的记錄归档，标注下线原因和日期，方便以後复盘。
- 如果整组規模缩小到某個阈值以下，考虑是否补充新頁，而不是硬撑。
入口頁的淘汰和新增一样，都是运营動作。把“關”這件事做干净，比不断往里加頁更能說明你對自己的池子有數。