很多站点在流量下滑之後才發現，被搜尋引擎“處理掉”的並不是打不開的頁面，而是一批能正常打開、返回 200、但内容早就没有價值的頁面。這類頁面在抓取层面看不出問题，在索引层面却很容易被归到软 404 一類，進而影响整站頁面的收錄表現。
软 404 到底是什么
软 404 指的是：服務器返回正常狀態碼（通常是 200），但頁面内容传達的信息是“這個资源不存在”“這個查询没有结果”“這條内容已经下架”。搜尋引擎需要自己從頁面内容里判断它的真實狀態，而不是從狀態碼讀取。
它和普通 404 的区別在于：普通 404 是明确告诉爬虫“別来了”，软 404 是把爬虫請進门，再让它自己發現屋里是空的。對爬虫来说，後者要花費更多抓取成本，也更容易让站点质量评估變得混乱。
常见的触發场景
- 商品下架、文章刪除後，頁面模板還在，只是正文被換成“内容不存在”或一句占位文字。
- 篩選、排序、组合參數生成的结果頁，出現“没有找到符合條件的商品”。
- 詳情頁依赖接口取資料，接口报错或超时，頁面只剩标题和頁脚。
- 分類頁最後一頁被清空，但分頁連結依然可点，頁面照常渲染。
- 用戶主頁、标簽頁在内容被删後，只剩一個空列表加一句提示。
這些問题在人工浏览时往往不明顯，因為用戶很少点進来；但對爬虫来说，它們和正常頁面一样占用抓取配額。
搜尋引擎通常怎么處理
搜尋引擎會通過頁面内容、标题、正文密度以及同模板頁面的對比，判断這個 URL 是否還值得保留在索引里。判断為软 404 之後，通常不會立刻從索引中移除，而是经歷一段观察期：先降低抓取频率，再逐步减少展示，最後可能從索引里消失。
需要說明的是，這個過程没有固定時間表，也不存在“改一下就能恢复”的開關。真正决定结果的是頁面本身是否提供了可用的内容。
按什么顺序排查
- 先在抓取與索引报告里，筛出狀態為“软 404”“已抓取但未编入索引”的 URL，看看是否集中在某几個模板。
- 随机抽取几十條 URL，用抓取工具或命令行請求，记錄返回碼、頁面标题和正文長度。
- 拿同一模板下的正常頁面做對比，看差异出現在資料层還是模板层。
- 如果是接口或渲染問题，检查抓取时是否真的拿到了内容，而不是只拿到了空壳。
- 如果是參數頁，統計哪些參數组合會产生空结果，把它們和内鏈入口分開處理。
三種處理方式，按頁面價值選
确實不存在的内容
直接返回 404 或 410，並且让頁面文案與狀態碼一致。不要一邊提示“内容不存在”，一邊返回 200，這種自相矛盾最容易触發软 404。
暂时缺货但仍有入口價值
保留頁面的實质内容，补充同類推荐、替代型号或相關文章，让頁面本身仍然能回答問题。單纯留一句“暂时無货”，對用戶和爬虫都是空頁面。
參數生成的空结果頁
可以考虑统一到主列表頁，或用 noindex 處理。但要注意，noindex 只對已经能被抓取的頁面生效；如果這些頁面的抓取本身就在消耗配額，還需要從内鏈和 sitemap 层面减少暴露。
几個容易踩的坑
- 只改了狀態碼，頁面文案還是“内容不存在”，問题並没有解决。
- 批量把頁面改成 404，却没清理站内連結，结果产生大量内部死鏈。
- 用 JS 跳轉到首頁来代替 404，爬虫可能把它同时看成软 404 和異常跳轉。
- sitemap 里依然保留已经下架的 URL，等于持續提醒爬虫来抓空頁面。
- 把正常但暂时没有資料的頁面誤判成软 404，反而删掉了有價值的入口。
软 404 的核心不是狀態碼寫错，而是頁面對外传達的信息和它實际能提供的内容不一致。
小结
處理软 404 的思路並不复杂：先確認頁面的真實狀態，再让狀態碼、頁面内容和内鏈入口三者保持一致。與其纠结“怎么让爬虫繼續收錄”，不如先检查這些頁面是否還值得被收錄。把無效頁面收干净，剩下的頁面才有机會获得更稳定的抓取节奏和索引表現。