404 頁面常被当成“出事了才看”的東西，其實它是站点结构的一部分：它告诉訪客“這條路走不通，可以往哪走”，也告诉搜尋引擎“這個地址确實没有内容”。如果狀態碼用错、错誤頁做成空壳，或者大量本该不存在的地址返回 200，蜘蛛會把時間和抓取配額花在空頁上，用戶的体驗也會断在最後一步。
先分清几種“错誤狀態”
- 404 Not Found：地址不存在。适合内容已经刪除、且没有合适替代頁的情况。
- 410 Gone：曾经存在、現在永久移除，信号更明确，但不必强求，用 404 也可以。
- 软 404：地址确實没内容，却返回 200，頁面顯示“暂無内容”“没有找到结果”。這是最容易被忽视的一類。
- 5xx：服務器出错。它和 404 完全是两回事，別让資料库超时或程序異常被当成“頁面不存在”處理。
软 404 的常见来源
软 404 通常不是配置错誤，而是模板逻辑的自然结果：
- 篩選、搜尋、标簽组合後没有结果，模板仍然渲染成正常頁面；
- 商品下架、文章撤回後只清空正文，頁面骨架照舊輸出；
- 栏目清空或迁移後，列表頁還在，只是長期没有新條目；
- 分頁超出范围，模板把空頁繼續返回 200。
這些地址一旦被蜘蛛抓到，可能被当成空内容頁面處理。與其靠“以後再说”，不如在模板层判断：没有有效内容时，直接返回 404，或跳轉到上一級栏目。
一次可落地的自查清單
- 從訪問日誌里拉出被請求最多、返回 404 的地址，按频次排序，先看前 50 條。
- 判断這些 404 是内鏈指過去的，還是外部與歷史遗留的。内鏈造成的死鏈要優先修，因為蜘蛛每次爬取都會撞一次。
- 確認错誤頁返回的狀態碼真的是 404，而不是 200，也不是 302 跳到首頁。
- 確認错誤頁里有導航、搜尋框和几個相關栏目入口，让人和蜘蛛都能繼續往下走。
- 检查 Sitemap 和站内連結里是否還留着已经刪除的地址。
- 抽查篩選頁、搜尋頁、空列表頁、超范围分頁，看它們各自返回什么狀態碼。
- 用抓取报告里的“頁面未找到”列表做交叉驗證，看两邊记錄是否對得上。
處理原則：能修的修，修不了的說明白
有强替代内容的舊地址，用 301 指到最相關的新地址；只是為了把流量收回首頁而做整站跳轉，容易让蜘蛛把首頁当成萬能落点，價值反而被稀释。真正没有替代的地址，就让它干净地 404；已经确定永久下线的，可以用 410。错誤頁本身不必花哨，但要有品牌标识、返回入口和搜尋入口。
判断标准很简單：用戶從這個頁面能自己走回去，蜘蛛從這個頁面能理解“這里没有内容”，這個 404 就算合格。
几件容易漏掉的事
- 404 頁面本身不要放進 Sitemap，也不要在 robots.txt 里整段屏蔽，否則蜘蛛看不到真實狀態碼。
- 移動端和桌面端用同一套错誤處理逻辑，別一邊 404 一邊 200。
- 站点改版、栏目下线、批量删稿之後，隔几天再看一次日誌，確認新的死鏈没有繼續产生。
- 把 404 數量当成常規监控指标，突增往往意味着内鏈、模板或資料發生了變動。
404 不是需要藏起来的失誤，而是站点结构里正常的出口。把它做對，损失的是一次無效点击，留下的是清晰的层級和可预期的抓取。