入口頁批量上线之後，連結结构很难一直保持整齐：有的頁面改寫後換了 URL，有的内容下架，有的目錄被合並。這些操作都會留下死鏈。對普通站点来说，死鏈主要是体驗問题；對靠入口頁引蜘蛛的蜘蛛池来说，死鏈直接影响的是抓取效率——蜘蛛顺着連結爬過来，看到的是错誤頁，這一次抓取基本就浪費了。
蜘蛛遇到错誤頁會發生什么
大致分三種情况。
- 正常 404：服務器返回 404 狀態碼，内容也确實是頁面不存在。蜘蛛會记錄這個 URL 失效，後續一般不再频繁抓取，属于可接受的损耗。
- 软 404：URL 返回 200，但頁面正文寫的是找不到頁面，或者只剩一個空壳。蜘蛛會把它当成正常頁面，繼續抓、繼續存，甚至反复回訪，抓取预算被持續占用。
- 错誤跳轉：404 被 302 到首頁或某個通用頁。蜘蛛跟着跳過去，看到的還是同一批内容，容易形成大量重复入口。
几種常见但不太划算的错誤頁做法
- 把错誤頁 302 或 JS 跳到首頁，全站错誤頁最终都指向同一個 URL。
- 返回 200 的自定义错誤頁，頁面上只有一句頁面不存在。
- 使用服務器預設错誤頁，附带整站導航和大量連結，蜘蛛顺着又爬一遍。
- 用 403、503 代替 404，短期看像是挡住了，長期容易被理解為持續不可用。
- 错誤頁体积過大、加载慢，蜘蛛等到超时也没拿到有效狀態。
入口頁的错誤頁怎么设更合适
- 狀態碼要對：确實不存在的頁面就返回 404；如果确定永久移除，可以考虑 410。不要用 200 伪装。
- 不要统一跳首頁：跳首頁看起来留住了入口，實际上制造了一堆指向同一頁的重复路径。
- 错誤頁保持轻量：一句话說明加少量返回入口即可，別塞满全站連結。
- 能修就修：如果舊 URL 還有訪問量或被外部引用，優先做 301 指到新的對應頁，而不是让它變成死鏈。
- 统一模板：入口頁是批量生成的，错誤頁也建议统一模板，避免每個站各寫一套，排查时找不到規律。
自查软 404 的一個简單办法
打開一個已经下架的入口頁，看返回狀態碼。如果顯示 200，但正文只有内容不存在、頁面已刪除這類字样，基本就是软 404。批量站点不必全量跑，抽几個典型 URL 用狀態碼工具確認即可。
死鏈清理的节奏
不建议攒到几千條再一次性刪除。更稳妥的做法是分批處理：先掃描出 404 集中的目錄，確認是内容下架還是路径寫错；路径寫错的统一 301，确實下架的返回 404 或 410。每批控制在可观察的范围内，然後看一段時間日誌，確認蜘蛛回訪频率没有異常波動，再處理下一批。
最後提醒一句：错誤頁處理只能减少浪費，不會直接带来收錄。它的價值在于让蜘蛛每次来都尽量落到有内容的頁面上，而不是把時間花在空壳和跳轉上。