蜘蛛池里最容易被忽略的环节，不是怎么建入口頁，而是入口頁不好用了之後怎么處理。建的时候大家都比較認真，跑起来之後一堆頁面狀態不明，連結還在到處指，抓取配額就這么被慢慢磨掉。
先分清三種“失效”
很多人一看入口頁打不開就急着删，其實值得先分類。
- 临时異常：服務器超时、證书過期、DNS 抖動。這類頁面本身没問题，處理方向是修，不是删。
- 内容失效：頁面還在，但内容已经被換掉、退化成導航頁，或者被抓成一個几乎没有文字的模板。抓取價值已经很低。
- 長期不可用：域名不再續費、路径被永久移除、服務器長期返回 5xx。這類才需要考虑回收。
三類的處理動作完全不同，混在一起做，通常會把還能用的頁面誤伤掉。
判断依據看什么
我的习惯是看三样東西，缺一样都容易判断错。
- 狀態碼的稳定性：偶尔一次 503 說明不了什么，连續多天 5xx 才有參考價值。
- 回訪信号：入口頁的訪問日誌里，近一段時間還有没有蜘蛛的請求。長時間没有，說明這條路径在抓取层面已经冷掉了。
- 入口頁自身的狀態：如果入口頁本身已经從索引里消失，並且看不到恢复迹象，回收優先級可以适当提前。
狀態碼只是结果，日誌才是過程。只看狀態碼，容易把“短暂的抽風”当成“永久下线”。
下线的方式不一样，後果也不一样
决定要不要下线之前，先想清楚用哪種方式下线。
- 返回 503：适合短期维護，但要留意別让它長期挂着，長期 503 對抓取並不友好。
- 返回 404：表示暂时找不到，但頁面本身不一定被彻底放弃。
- 返回 410：態度比較明确，就是永久移除，适合确實不再维護的路径。
- 保留頁面但摘掉連結：如果頁面本身還有價值，只是不想再让它承担分流作用，這種方式最温和。
現實里比較常见的失誤是：入口頁還在，但指向目标頁的連結早就删了，頁面變成一個空壳，蜘蛛来了什么都没有。這種頁面不如直接下线。
連結回收的顺序
入口頁失效之後，指向它的連結如果繼續存在，就會持續产生没有意义的抓取請求。回收建议按這個顺序来。
- 先處理自己站内指向它的連結，這部分你完全可控。
- 再處理同一批资源里互相引用的頁面，避免出現互相指向的失效鏈。
- 最後看外部资源，能改的改，改不了的至少不要再新增。
顺序反過来做，通常會發現站内還在往外散，外部已经在收缩，两邊节奏對不上。
替換的节奏
替換不是把舊的一批一次性換掉，換成新的一批。比較稳妥的做法是分批進行，並且让新入口頁有獨立的 URL 和内容，不要复用舊 URL 直接改内容。
- 一批替換量控制在小比例，观察一段時間再决定下一批。
- 新入口頁的内容和舊頁不要高度相似，否則只是把重复的問题換個位置。
- 替換完成後，保留一段時間的日誌观察，再决定舊頁面是 410 還是彻底清理。
几個常见的坑
- 一刀切 410：把還有回訪的頁面也一起處理掉，等于主動放弃已有的抓取路径。
- 連結指向 404 長期不動：頁面早就没了，入口頁上還挂着連結，蜘蛛每次来都撞一次空。
- 新舊頁面内容几乎一致：替換之後並没有带来新的抓取價值。
- 没有记錄：谁在什么时候換的、換了哪批，過两周自己都记不清。
维護上的建议
把這件事做成固定流程，比零散處理有效。每周掃一遍入口頁的狀態碼和日誌，把连續異常和長期没有回訪的挑出来，形成待處理清單；清單上的頁面按“修复優先、替換其次、回收最後”的顺序處理。
入口頁的失效處理不會直接带来什么可见的收益，但它决定你現有的抓取路径是不是在浪費。少一点無效請求，剩下的部分才有机會被用起来。