站点上有一類地址，返回的是 200，頁面框架也正常，只是正文位置寫着“暂無相關内容”“该商品已下架”“活動已結束”。對用戶来说這只是個小遗憾，對搜尋蜘蛛来说却是一個看起来完整的入口——它會被当作正常頁面排队、再次回訪。時間一長，這些頁面會挤占抓取预算，让真正有更新的地址排在後面。
软 404 與真正的 404 有什么不同
真正的 404 或 410 是明确的信号：這個地址没有内容，蜘蛛會較快降低回訪频率。软 404 的問题在于狀態碼仍然是 200，頁面里還有導航、頁脚、推荐位等通用内容，蜘蛛無法僅凭狀態碼判断頁面已失效，會按照普通頁面的节奏持續抓取。
判断标准不是“頁面能不能打開”，而是“這個地址是否還有獨立、可被检索的有效内容”。
常见的触發场景
- 列表頁篩選或排序後结果為零，例如带參數的篩選组合没有匹配商品；
- 商品、文章下架後頁面保留，只把标题改成“已下架”；
- 活動、专题頁到期，模板仍在但内容被清空；
- 分頁超出實际范围，第 50 頁之後没有資料却仍返回 200；
- 參數拼寫错誤或大小寫變形，被程序兜底到預設空模板。
排查思路
- 從服務器日誌中篩選狀態碼為 200 且响應体偏小的地址，特別是带篩選參數的 URL；
- 按模板归類，找到“空狀態”渲染與正常渲染的差异标记，例如特定的空提示文案或占位节点；
- 抽样查看返回内容，確認是内容缺失還是渲染問题；
- 對照 Sitemap 和内鏈入口，統計哪些空頁面仍在被主動推送或频繁連結；
- 观察這些地址的抓取频次變化，判断是否長期占用抓取资源。
處理方式的分层
不是所有空頁面都要一律刪除，按“是否會再次产生内容”来分层更合理。
- 永久無内容：下架商品、已結束活動，返回 410 或 404，並從内鏈和 Sitemap 中移除；
- 可能恢复：暂时缺货的詳情頁，保留 200 但补充說明内容與替代推荐，避免整頁空白；
- 參數篩選空结果：返回 404 或加 noindex，同时把篩選入口收敛到有结果的组合上；
- 超出范围的分頁：超出最後一頁返回 404，而不是繼續渲染空列表。
内鏈與 Sitemap 的同步清理
狀態碼改對只是第一步。如果内鏈仍然指向這些地址，蜘蛛還是會顺着連結繼續發現它們，清理效果會被抵消。建议在調整狀態碼之後，同步检查導航、相關推荐、标簽頁和站内搜尋结果的輸出逻辑，把空頁面從連結池里去掉。Sitemap 也應按同一标准生成，只提交目前有有效内容的地址。
观察回稳
清理之後不會立刻见效。抓取频次和入口數量的變化通常需要几轮抓取周期才能体現，可以用日誌中的抓取分布来對比：空頁面抓取占比是否下降、有效頁面是否获得更多抓取次數。如果一段時間後發現空頁面仍在被大量抓取，優先检查是否還有残留入口，而不是急于繼續調整狀態碼。
软 404 的治理本质上是入口质量的管理：让蜘蛛看到的每一個地址，都對應一份值得抓取的内容。