蜘蛛池常被用来增加連結被發現的机會，但很多人只關心“怎么放連結”，忽略了“連結失效後怎么收”。入口頁、中轉頁和目标頁一旦下架、改版或換域，如果舊地址還留在蜘蛛池里，蜘蛛仍可能反复訪問這些無效地址，把有限的抓取机會消耗在空頁面上。
哪些情况需要做連結回收
連結回收不是把所有舊連結一次性删掉，而是根據地址的實际狀態做区分處理。常见场景包括：
- 内容已彻底刪除，且没有替代頁面；
- 栏目改版，舊列表頁和詳情頁路径不再使用；
- 站点更換域名或子域名，舊域不再维護；
- 測試頁、活動頁過期，頁面已下线；
- 入口頁本身不再更新，但仍鏈向大量失效目标頁。
這些情况下，繼續让蜘蛛訪問舊地址，通常不會带来新的有效發現，反而可能让日誌里出現大量 404 或跳轉记錄。
下架内容後的處理顺序
如果頁面确定不再提供，建议按下面顺序處理：
- 先確認頁面狀態。返回 404 還是 410，或者已经 301 到新地址，處理方式不同。
- 從蜘蛛池入口頁移除連結。不要让入口頁繼續輸出已经失效的地址。
- 更新站内連結和 Sitemap。避免站内其他頁面仍指向舊地址。
- 观察日誌。看蜘蛛是否還在請求舊地址，如果持續請求，再考虑用 410 或 robots 規則收口。
如果頁面只是暂时下线，之後還會恢复，可以保留地址但不要放在主要入口頁，避免蜘蛛反复撞到空頁面。
改版與換域时的連結迁移
改版或換域时，舊地址最好用 301 指向最相關的新地址。不要把所有舊連結都跳轉到首頁，這样蜘蛛虽然能到達新站，但很难判断新舊頁面的對應關系。若舊域已经不再使用，可以在舊域保留一段時間的跳轉，再從蜘蛛池入口頁逐步替換為新域地址。
跳轉只是告诉蜘蛛新地址在哪里，並不等于新地址一定會被索引。新頁面能否被處理，仍取决于内容质量、可訪問性和站点整体情况。
常见誤区
- 直接刪除入口頁。入口頁一删，蜘蛛可能连跳轉關系都看不到，舊地址更容易變成死鏈。
- 全部 301 到首頁。大量不相關跳轉會让蜘蛛难以理解頁面主题。
- 只改蜘蛛池，不改站内。站内舊連結仍在，蜘蛛依舊會從其他路径抓取失效地址。
- 刚下架就急着清空。如果頁面有临时恢复可能，可以留出观察期，避免反复提交又撤回。
日常检查清單
- 蜘蛛池入口頁是否還鏈向已刪除或已迁移的地址；
- 舊地址返回狀態是否统一，避免同一路径有时 404、有时 200；
- Sitemap 是否還包含已下线的 URL；
- 日誌中失效地址的請求量是否在下降；
- 新地址是否已经接入入口頁，並保持可訪問。
蜘蛛池的價值在于帮助發現和到達有效頁面，連結回收則是把無效地址從這條路径上撤下来。定期清理舊連結，比不断堆积入口頁更有利于让抓取预算用在真正需要被訪問的頁面上。