有些頁面在浏览器里打開會看到“内容不存在”“没有找到相關结果”“该商品已下架”，但服務器返回的狀態碼是 200。對搜尋引擎来说，這看起来就是一個正常可訪問的頁面，于是被当成有效内容收錄進索引。這類頁面通常被叫做软 404（soft 404）。它和真正的 404 不同：真 404 明确告诉爬虫“這里没有東西”，软 404 則是在说“有東西”却又没什么内容，判断權被交回给了搜尋引擎。
软 404 常见的几種来源
- 站内搜尋無结果頁：用戶搜到空结果，頁面返回 200，正文里只有一句“没有找到”。
- 商品或内容下架後保留的舊 URL：正文被清空，替換成“已下架”提示。
- 篩選组合無结果：多條件篩選後结果為零，URL 仍可正常訪問。
- 错誤處理的降級逻辑：程序出错时返回 200，同时把首頁或通用模板内容吐出来。
- URL 拼接错誤：參數缺失導致模板渲染出空白区块，但頁面本身照常返回。
這類頁面數量不大时不容易被注意，但一旦和參數组合、篩選條件、歷史下架資料叠加，就可能出現成千上萬個，把索引占满，也稀释了站内真正有價值的頁面。
先分清三種頁面，再决定怎么處理
确實不存在的頁面
内容永久移除、且没有替代版本，應该返回 410 或 404，而不是用 200 加一句提示。让爬虫拿到明确信号，比让它反复抓取一個空壳更省事。
功能性的空狀態頁
站内搜尋结果為空时，頁面本身是功能的一部分，用戶仍需要搜尋框去改條件。可以考虑保留可訪問性，但不要让這種 URL 大批量進入索引，常见做法是加 noindex，或對空结果狀態做規范化處理。
降級返回的通用頁
服務異常时返回首頁内容是最容易出問题的一類：多個不同 URL 返回同一份正文，既像软 404，又像重复内容。這種情况更應该修服務端逻辑，而不是在收錄层面打补丁。
一次可执行的排查路径
- 抽样：從索引报表、站点地图或抓取日誌里挑出一批正文极短、标题重复的 URL，覆盖不同目錄和參數類型。
- 查看原始响應：用固定 UA 請求這些 URL，记錄狀態碼、响應体大小、正文字數，注意区分原始 HTML 與渲染後的 DOM。
- 比對渲染结果：如果頁面依赖 JS 渲染，用抓取工具查看渲染後的内容，確認“空”是真的空，還是内容没被渲染出来。
- 查抓取记錄：看這些 URL 是否被反复抓取、返回狀態是否稳定，判断是偶發情况還是長期存在。
- 给出归属：逐個判定是應该返回 410、加 noindex，還是补齐内容。判定要留记錄，避免下次重复排查。
處理时容易踩的几個坑
- 用 robots.txt 屏蔽整段目錄来“解决”软 404。屏蔽只是阻止抓取，已收錄的 URL 不會因此消失，還可能因為無法重新抓取而長期停留在索引里。
- 把有真實價值的空狀態頁一並屏蔽。比如某類目頁在淡季本来就没内容，但旺季會恢复，简單屏蔽會誤伤。
- 為了通過“有内容”的检查，在空頁面上堆砌無關文字。這類内容既帮不到用戶，也容易被判定為低质。
- 只改前端展示，不改狀態碼。前端顯示“未找到”但服務端仍返回 200，問题依舊。
狀態碼是给机器看的第一手信号，頁面内容才是最终判断依據。两者不一致时，被誤解的概率會明顯上升。
改動之後如何確認收敛
上线後不要期待第二天就见變化。先看服務端日誌里這些 URL 的返回狀態是否已经稳定，再观察索引报表中“已排除”類別的數量變化。可以挑几個代表 URL 單獨跟踪，確認它們從“已收錄”轉為“未找到”或“已排除”的時間。如果几周後仍有大批软 404 停留在索引里，多半是内鏈或站点地图還在持續指向它們，需要回头检查入口，而不是繼續等。
最後，把软 404 检查做成常規動作：每次新增内容模板、調整篩選逻辑、上线新功能时，顺手看一眼無结果狀態返回的是什么。這類問题發現得越早，處理成本越低。