蜘蛛池入口頁的作用是把搜尋蜘蛛引到目标 URL。当目标 URL 因為改版、下架或配置错誤變成 404，入口頁里那條連結就從通道變成了死胡同。清理還是保留，取决于失效是永久還是临时。
先分清三種打不開
- 404 / 410（永久失效）：地址确實不存在。410 表示已明确刪除，语义更干脆，處理方式和 404 基本一致。
- 5xx 或连接超时：服務器临时故障，搜尋蜘蛛通常會在一段時間内重试。此时删連結，等于让恢复後的頁面失去一個入口。
- 软 404：HTTP 狀態碼是 200，但頁面顯示内容不存在或已下架。這類頁面容易被当成正常頁處理，需要人工判断後再决定去留。
死鏈留在入口頁上的几個代價
- 消耗抓取机會：入口頁被訪問的次數有限，蜘蛛顺着死鏈跑一趟得不到内容，真正有效的連結就少了一次被跟進的可能。
- 干扰日誌判断：日誌里出現大量 404 记錄时，很难分清是入口頁配置問题，還是目标站本身出了状况。
- 影响入口頁的维護质量：入口頁長期堆着失效連結，後續做連結盘点时工作量會明顯增加。
该清掉的情况
目标 URL 已经永久下线，且站内没有等價的新地址时，把連結删掉，或替換成同栏目下其他有效頁面。一個指向 410 的連結，對目标站的内容分發没有帮助。
頁面迁移到新地址时，把入口頁的舊連結直接改成新地址。如果舊地址還能訪問，在目标站上做 301 指向新地址，入口頁也同步更新，避免绕一圈才到達目标頁。批量替換时，先加上新連結並確認新地址返回 200、内容正常，再刪除舊連結，不要一次性清空入口頁的所有出站連結。
软 404 的處理介于两者之間：如果確認内容永久下线，让服務端返回 404 或 410，並同步清理入口頁連結；如果只是内容還没填上，先补内容，不要急着删。
可以再等等的情况
- 5xx、连接超时、DNS 解析失敗：先修服務器，保留連結，观察一到两周。
- 頁面只是临时下线，比如活動頁、季节頁：保留連結，或临时改指向所在栏目的首頁。
- 服務端返回 200 但正文為空：属于内容問题，不是連結問题，優先补内容。
一個可执行的检查节奏
- 定期對入口頁的所有出站連結做狀態碼检查，记錄狀態碼、最终跳轉地址和响應時間。
- 把返回 404 或 410 的連結單獨列出来，逐個確認目标站是否還有等價頁面。
- 有等價頁面就改連結，没有就刪除，或替換成同主题的有效頁。
- 改完之後在服務器日誌里观察该入口頁的抓取记錄，確認蜘蛛确實訪問到了新連結。
連結管理是持續工作。即使這次清理干净，站点改版、栏目調整仍會不断产生新的死鏈，建议把出站連結检查放進月度例行事項，而不是等到收錄明顯下滑才回头排查。
入口頁里保留少量死鏈不會让整站出問题，但長期不處理，會让搜尋蜘蛛在這個入口頁上消耗更多没有产出的抓取机會，也會让日誌分析變得难以解讀。判断标准始终只有一個：這條連結現在還能不能把蜘蛛带到有效内容上。