只要站点上线一段時間，404 就几乎無法避免。改版、删栏目、調整 URL、外部連結失效，都會留下打不開的地址。問题不在于 404 本身，而在于它出現时返回了什么狀態碼、展示了什么頁面，以及有没有被及时發現。
先分清：真 404 和软 404
從服務器角度看，404 是一種明确的 HTTP 狀態碼，表示請求的资源不存在。它本身不是错誤配置，反而有助于蜘蛛判断這個地址不用再抓。麻烦的是“软 404”：頁面内容已经不存在，服務器却返回 200，或者把用戶自動跳到首頁。這样蜘蛛會以為這是一個正常頁面，繼續浪費抓取预算。
- 真 404：地址不存在，服務器返回 404 狀態碼，頁面给出友好提示。
- 软 404：地址不存在，服務器返回 200，頁面顯示“内容已刪除”或空白列表。
- 错誤跳轉：任何無效地址都 301 到首頁，蜘蛛無法判断哪些地址真正失效。
- 服務器错誤：返回 5xx，說明是临时故障，不要和 404 混在一起處理。
為什么值得专门做一次 404 自查
404 頁面不只是技術细节。訪客点進来时，如果只看到一行冰冷的“Not Found”，多數人會直接离開；如果能看到返回入口和搜尋框，還有机會繼續浏览。對搜尋引擎来说，大量真 404 會消耗抓取资源，软 404 則會干扰索引判断。内鏈和外鏈里長期存在的失效地址，也會让頁面的可信度打折扣。
可执行的 404 自查步骤
- 查看服務器訪問日誌。篩選狀態碼為 404 的請求，按路径和来源分類，看是舊文章、舊图片、測試地址，還是被外部站点引用的地址。
- 抽查 404 頁面的响應头。用浏览器開發者工具或命令行確認狀態碼确實是 404，而不是 200。注意有些 CMS 會預設返回 200。
- 检查站内連結。從首頁、栏目頁、文章正文、導航和頁脚逐层点击，重点看改版後没有更新的入口。
- 检查站点地图和提交记錄。地图中不應包含已经刪除的地址；如果地图里還留着死鏈，蜘蛛會反复訪問無效頁面。
- 检查外部来源。在訪問日誌中看 Referer，找出外部站点引用的失效地址。能联系對方更新的就更新，不能更新的可以考虑做 301 指向最相關的新頁面。
- 關注移動端和不同 UA。有些站点對手机蜘蛛返回的頁面不同，404 處理也可能不一致，自查时別只测桌面浏览器。
- 設定监控。404 數量突然上升往往意味着改版、誤删或程序異常。可以用日誌分析工具或简單的定时脚本观察趋势。
一個有用的 404 頁面應该包含什么
404 頁面不需要复杂，但要让訪客和蜘蛛都能快速理解現状。以下内容比寫一大段道歉更有用：
- 一句清楚的說明：頁面不存在，可能是地址輸入有誤或内容已調整。
- 返回首頁、主要栏目或上一級分類的入口。
- 站内搜尋框，方便訪客直接找目标内容。
- 几個热门文章或最新更新，给訪客一個繼續浏览的理由。
- 联系方式或反馈入口，方便訪客报告失效地址。
需要提醒的是，不要用 JavaScript 自動跳轉到首頁。自動跳轉會让訪客来不及看清提示，也可能让蜘蛛無法正确识別 404。手動入口比强制跳轉更稳妥。
常见誤区
- 把所有 404 都 301 到首頁。這會把大量不相關地址合並到一個頁面，蜘蛛难以判断哪些地址真正失效。
- 让 404 頁面返回 200。這是典型的软 404，會让索引里堆积無效内容。
- 404 頁面只放一句英文。訪客看不懂，也不會留下来繼續找内容。
- 在错誤頁暴露服務器版本、堆栈信息。既影响安全，也没有實际帮助。
- 只看數量，不看来源。404 數量下降不代表問题解决，可能只是蜘蛛不再抓了。
404 不是敌人，無法被识別的 404 才是。让服務器说清楚“這個地址不存在”，让訪客看到下一步能去哪里，比强行把错誤頁伪装成正常頁面更有價值。
做完一次 404 自查後，建议把检查频率固定下来：改版上线後必查，内容批量刪除後必查，日誌里 404 明顯上升时必查。它不會直接带来排名，但能减少無效抓取、改善訪客体驗，属于站点运营里投入不大、回报稳定的基础工作。