有些頁面打開是正常的，服務器也老老實實返回 200，但頁面正文只有一句“该商品已下架”或者“暂無相關内容”。對用戶来说這就是一個空頁面，對搜尋引擎来说却是一個狀態正常的地址。這種“狀態碼说没問题、内容说没有”的情况，通常被称為软 404。
软 404 和真正的 404 差在哪
真正的 404 是服務器直接告诉蜘蛛：這個地址没有對應内容。蜘蛛收到之後，會把這個 URL 從待抓取队列里逐步清出去，已经收錄的也可能被移除。软 404 不一样，服務器返回的是 200，蜘蛛只能靠讀頁面内容去判断，判断成本高得多，结论也更模糊。
模糊带来的直接後果是：這個 URL 會繼續留在索引里，偶尔還會出現在搜尋结果中，点進去却什么都没有。既浪費了抓取机會，也影响用戶對站点的信任。
哪些頁面容易變成软 404
- 商品下架、活動結束，但地址和模板保留着，只在正文里寫一句提示。
- 搜尋结果頁、篩選頁在無结果时返回 200，並顯示“没有找到”。
- 内容被刪除後，編輯把正文清空，标题和導航還留着。
- 需要登入才能查看的頁面，未登入时顯示一個空白外壳。
- 栏目頁没有内容，只剩一個空列表。
對收錄的實际影响
搜尋引擎在處理這類頁面时，通常不會立刻下结论。它會先观察一段時間：這個地址是不是還會更新，是不是只是暂时没有内容。观察期内，頁面可能仍然可以被搜到，但表現一般不會好。等到系統確認這個地址長期没有有效内容，才會在索引层面做收缩。
真正麻烦的是批量出現。如果一個站点有成百上千個下架頁、空结果頁，它們會持續占用抓取配額，让本来该被及时處理的新内容排到後面。
自查顺序
- 從服務器日誌里挑出返回 200 但响應体积明顯偏小的地址，看是不是空壳頁。
- 在浏览器里關掉 JS、清掉登入狀態，看一眼蜘蛛拿到的版本到底是什么。
- 把這些地址按類型归類：下架、空结果、權限受限、模板残留。
- 判断每一類還有没有恢复的可能，再决定返回什么狀態碼。
按頁面價值選擇處理方式
如果内容只是暂时没有，之後還會补上，可以保留 200，但頁面上要给出明确說明和替代入口，比如同類推荐、相關内容列表，別只留一句“暂無内容”。
如果内容确定不會再回来，比較干净的做法是返回 410，或者 301 到同類還有效的頁面。两者都能让蜘蛛更快拿到明确结论，不用靠猜。至于空结果頁、篩選頁，更适合在一開始就用 robots.txt 或 noindex 控制，而不是等被收錄之後再收拾。
判断标准可以简單一点：這個地址给用戶看，是不是一個完整、有信息量的頁面？如果不是，它就不该以一個正常頁面的身份長期待在索引里。
软 404 往往不是技術难题，而是内容生命周期没人管的副产品。把下架、清空、無结果這些节点纳入日常流程，比事後逐個清理要省事得多。