入口頁铺下去之後，很多人只關心加，不太關心减。實际上蜘蛛池跑一段時間，入口站的表現會明顯分层：有的頁蜘蛛隔三差五就来，有的頁几個月不见一次抓取，還有的頁已经被降權或判定為低质。這时候如果只加不减，池子會越来越臃肿，维護成本上去了，蜘蛛的抓取效率反而被稀释。

一、什么情况下该考虑淘汰

• 長期零抓取：连續 30 到 60 天日誌里没有任何蜘蛛訪問记錄，並且不是刚上线的新頁面。
• 抓取有来無回：蜘蛛進了入口頁，但從不跟随出站連結，连續多批都是這样。
• 狀態異常：频繁 5xx、被 CDN 拦截、證书過期、跳轉鏈路断掉，修了几次仍然不稳定。
• 主题漂移：入口頁原本的主题已经跟目标站差得很遠，連結上下文對不上。
• 资源本身出問题：域名被标记、服務器 IP 段整体異常，換頁也救不回来。

注意這里说的是考虑，不是一键刪除。先判断是頁面問题還是资源問题，资源問题換頁没用。

二、下线方式：別一刀切

很多人淘汰入口頁就是直接删库，结果蜘蛛下次来吃 404，入口站的可信度又掉一截。比較稳妥的做法是按情况分開處理。

1. 直接 404 或 410

适合本来就没什么抓取、也没有外部連結指向的頁面。410 比 404 更明确，等于告诉蜘蛛這是永久移除。但不要一次把大批頁面同时改成 410，蜘蛛會認為站点结构發生了大變動。

2. 301 到同站的其他入口頁

适合该頁面還有一定抓取、只是内容不再维護的情况。跳轉目标要主题相近，別從机械配件跳到母婴用品，這種跳轉對蜘蛛来说没有意义，也不會有跟随。

3. 保留頁面，停止更新

有些頁蜘蛛来得挺勤，只是你自己不想再维護。這種情况可以留着，把内容保持原样，不做改動。蜘蛛對稳定頁面的處理通常比频繁變動的頁面更省心。前提是頁面本身没有违規内容。

三、替換节奏怎么排

替換和铺量一样，节奏比數量重要。可以參考下面的顺序。

1. 先补新頁，再下舊頁。新入口頁上线，並且日誌里確認有蜘蛛来過之後，再處理舊頁。
2. 分批操作，單次不超過總量的 10% 到 20%。
3. 两批之間至少隔一到两周，观察抓取量有没有異常波動。
4. 如果整体抓取量明顯下滑，先暫停下一批，回去查是不是资源层出了問题。

四、轮換期間盯哪几個數

• 入口站日誌里的蜘蛛總抓取次數，按天看趋势。
• 出站連結被跟随的比例，也就是蜘蛛進了入口頁之後往下走的比例。
• 目标站被訪問的次數，前提是目标站能看日誌。
• 狀態碼分布，特別是 4xx 和 5xx 的占比。

只看蜘蛛来了多少次是不够的，来了不走等于白来。

淘汰入口頁的目的不是把數字做好看，而是让有限的抓取预算落在還能用的頁面上。池子小一点、干净一点，通常比又大又杂更好维護。

五、几個常见誤区

誤区一：抓取少就删。新頁面前两周抓取少很正常，先给点時間，判断标准放在 30 天以上更合理。

誤区二：一次性大清洗。入口站短時間内大批頁面消失，蜘蛛會重新评估整個站点，恢复周期可能比你想象的更長。

誤区三：删完不补。淘汰之後要有新頁接上，否則入口站的活跃度會一路下滑，再想拉起来成本更高。

誤区四：只看收錄不看抓取。收錄是结果，抓取是過程。過程断了，结果自然會掉。

把淘汰当成常規動作，而不是出問题才做的补救，入口頁的整体质量會稳一些。