做蜘蛛池入口頁时经常遇到一種情况：連結撒出去的时候是好的，過一阵目标頁改版、下线或者換域名，入口頁上的連結就陆續變成 404 或 410。這时很多人會纠结：搜尋蜘蛛還會不會一遍遍来抓這些死鏈？會不會连累入口頁本身？要不要专门腾出精力去清理？
先分清 404 和 410 的差別
两個狀態碼都表示“這里没有内容”，但语气不一样。404 是“暂时找不到”，搜尋蜘蛛會認為這個地址以後可能恢复，于是按一定周期回訪；410 是“明确、永久地移除”，理论上回訪會更少、更快放弃。不過這只是倾向，不是開關——具体多久停，取决于搜尋引擎自己的策略、這個地址以前的表現，以及站点整体的抓取情况，没有固定的天數可以套。
實務上，如果是确定不再恢复的頁面，返回 410 比一直挂着 404 更干脆；如果是临时下线，別用 404 硬扛，可以让它返回带 Retry-After 的 503，或者先把入口頁上的連結摘掉。
死鏈會不會拖累入口頁
先把话说清楚：入口頁上挂着一批死鏈，並不會因此被“降權”，這点不用自己吓自己。但有两個實际影响值得注意。
- 抓取配額被摊薄。搜尋蜘蛛给每個站点的抓取次數是有限的。入口頁連結越多、死鏈越多，被浪費在無效請求上的比例就越高，真正需要被發現的新 URL 反而排得更靠後。
- 連結图质量變差。入口頁的價值在于把蜘蛛带到目标頁。如果其中一半連結是死的，這個入口頁的路由效率就下降了。
另外，死鏈集中出現，往往說明入口頁缺少维護——有人撒完連結就不管了。這種入口頁即使被频繁抓取，也很难稳定地把蜘蛛送到有效目标頁上。
自查和清理的顺序
- 從服務器日誌里筛出 404、410 狀態碼，按路径归類，看是集中在某几個目錄，還是零散分布。
- 区分性质：整站改版、頁面永久刪除的，归為“不再恢复”；只是迁移中、临时下线的，归為“會回来”。
- 不再恢复的頁面，能返回 410 的就返回 410；同时把入口頁上對應的連結删掉，或換成新的目标地址。
- 會回来的頁面，先別让它返回 404。用 503 加 Retry-After，或者暂时從入口頁隐藏。
- sitemap 和入口頁要同步改。只在 sitemap 里删掉、入口頁還留着，蜘蛛照样會從入口頁找到它。
- 改完後隔一段時間再翻日誌，確認這些路径的請求量确實在下降，而不是換了個狀態碼繼續被刷。
几個常见誤区
1. 留着死鏈“保住權重”
不成立。頁面没了，連結指向它带不来任何東西，只增加無效抓取。
2. 所有死鏈一律 301 到首頁
大量不相關的舊地址跳到首頁，用戶体驗差，也给搜尋蜘蛛制造了一堆重复的软跳轉。只有内容确實迁移到某個新地址时，才做点對点的 301。
3. 只清理 sitemap，不動入口頁
入口頁是蜘蛛發現 URL 的主要入口之一，它的更新優先級不比 sitemap 低。两邊脱节，清理就等于没做。
入口頁不是一劳永逸的资产，它更像一條需要定期巡检的线路：哪里断了补哪里，比反复往上加新連結更省钱，也更少干扰現有 URL 的抓取节奏。