有些頁面看起来「能打開」，狀態碼是 200，但頁面里几乎没有實质内容：商品下架了只剩一句「该商品已下架」，搜尋没有结果只顯示「没有找到相關内容」，栏目建好了却一篇内容都没有。用戶看到的是空架子，蜘蛛看到的是一個正常的 200 頁面，于是它可能反复来、反复抓，把抓取時間花在這些没有價值的地址上。這類頁面通常被称為软 404。
软 404 和真 404 有什么区別
真 404 是服務器明确告诉蜘蛛「這個地址不存在」，蜘蛛會較快地把它從索引中移除。软 404 則相反：地址返回 200，内容却是空的、错誤的或與预期完全無關，蜘蛛只能靠自己判断，判断结果往往滞後，而且不同搜尋引擎的判断标准也不一样。
- 真 404 / 410：狀態碼明确，處理干脆。
- 软 404：狀態碼 200，内容空或近似空，蜘蛛需要猜。
- 被 noindex 的空頁：不進索引，但仍可能被持續抓取。
常见的软 404 来源
1. 站内搜尋结果頁
当用戶搜尋一個不存在的關鍵詞时，頁面返回 200，标题里還带着關鍵詞，正文只有「没有找到相關结果」。這類地址可以被無限组合出来，如果允许被抓取，很容易變成大量低质頁面的入口。
2. 已下架或已過期的内容
商品下架、活動結束、文章被刪除後，很多站点只是把正文清空，留下一個模板頁。地址還在，内容没了，訪問者也只能看到頁头和頁脚。
3. 參數或路径拼错
URL 里多了一個無意义的參數、ID 不存在、栏目路径寫错，程序没有走 404 分支，而是渲染出一個空白模板。
4. 模板渲染失敗或資料為空
接口返回空數组、模板變量未取到值，頁面依然以 200 輸出。這類問题在改版或接口調整後尤其常见。
自查怎么做
- 抽样訪問：從日誌或 Sitemap 里随机抽一批 URL，用命令行或浏览器看狀態碼，同时看頁面正文字數。狀態碼 200、正文字數极少的，先标记出来。
- 看日誌中的重复抓取：某個地址被反复抓取，却從不产生点击或轉化，值得重点检查。
- 用站長平台工具：主流搜尋平台都提供索引狀態和抓取異常的报表，可以筛出「已抓取但未索引」「内容過短」一類的頁面。
- 改版後专項检查：模板、路由、接口調整後，跑一遍主要頁面類型，確認没有批量輸出空頁面。
判断标准可以很简單：如果這個頁面拿掉導航和頁脚之後，剩下的内容不足以回答「用戶為什么来這里」，它就值得被重新處理。
怎么處理不同類型的空頁面
- 内容确實永久下架：如果已有替代頁面，做 301 指過去；没有替代頁面的，返回 410 或 404，让蜘蛛明确知道可以移除。
- 暂时缺货、暂时下线：保留頁面的有效信息，比如型号、參數、预計恢复時間，把它做成一個對用戶有用的頁面，而不是空白模板。
- 站内搜尋無结果頁：考虑加 noindex，並在頁面上给出相關推荐或热门入口；如果程序上容易實現，也可以直接返回 404。
- 空栏目、空标簽頁：先补齐内容再開放抓取，或者暂时關閉入口、加 noindex，等有内容了再放出来。
- 參數错誤頁：在程序层面统一走 404 分支，不要让它渲染成 200。
建立例行检查的节奏
软 404 不是一次性問题。每次上新、下架、改版、調整接口，都可能产生新的空頁面。比較省力的做法是：每周抽样检查一批新增或變更的 URL，每月结合站長平台报表复盘一次索引情况，把「上线前抽查」寫進發布流程里。
需要提醒的是，處理软 404 的目标不是把所有空頁面都删掉，而是让蜘蛛把有限的抓取時間用在有内容的頁面上。狀態碼、内容质量和入口设計，這三件事要放在一起看，單改一項往往解决不了根本問题。