有些頁面打開後地址栏正常、狀態碼也是 200，但頁面主体几乎是空的：商品早已下架、活動已经結束、文章被删只留下框架和導航。這類「看起来正常、實际没内容」的頁面，通常被称為软 404。它和真 404 最大的差別在于：服務器告诉搜尋引擎「這個地址有效」，而用戶和爬虫實际拿到的却是一個空壳。
软 404 為什么會拖住收錄
搜尋引擎對 200 的預設理解是「這是一個正常可用的頁面」，于是它會尝试抓取、解析、參與索引。問题在于：
- 抓取预算被消耗在無内容頁面上，真正需要被發現的頁面反而排队更久。
- 這類頁面數量一多，會让整站的索引质量被拉低，影响搜尋引擎對站点整体價值的判断。
- 用戶從搜尋结果点進来看到空頁面，停留和回退行為都不理想。
所以處理软 404 的目的，不是「让收錄變多」，而是让索引里的頁面更接近用戶真正需要的内容。
先分清三種「空頁面」
很多人一看到空頁面就直接加 noindex，其實應该先分類，因為不同類型對應完全不同的處理方式。
- 真 404 / 410：頁面已彻底不存在，服務器明确返回错誤狀態碼，這是最干净的信号。
- 软 404：内容已消失，服務器仍返回 200，頁面只剩模板、導航和一句提示语。
- 浅薄但正常：頁面有内容，只是信息量少，比如一段短說明或几個字段。這類頁面不该按软 404 處理，應该考虑的是补充内容或合並。
怎么確認一個 URL 属于软 404
- 關閉 JavaScript 抓取一次原始 HTML，看看主体区域是不是本来就空，避免把渲染失敗誤判成内容缺失。
- 對比狀態碼與主体文本量，只看「200」不解决問题。
- 在搜尋结果里抽样看這類頁面：如果被收錄却没有像样的标题和摘要，多半就是空壳被索引了。
- 翻服務器日誌，看這些 URL 是否被反复抓取却長期没有任何内容變化。
按頁面類型分流的處理顺序
- 先归類：把問题頁面分成「永久消失」「有明确替代頁」「暂时缺货或临时下线」三组，不要统一處理。
- 永久消失的：让服務器返回 404 或 410，並確認返回的是真實狀態碼，而不是带着错誤提示却仍返回 200 的兜底頁。
- 有替代頁的：做一對一 301，跳到最相關的新頁面，不要整批跳首頁。批量跳首頁属于软 404 的另一種形式。
- 暂时缺货或临时下线的：保留 200 更合适，但要在頁面上补充說明、预計恢复時間或同類推荐，让頁面本身仍有信息價值；如果長期無法恢复，再按永久消失處理。
- 回头清理入口：删掉内鏈、導航、面包屑和站点地图里的舊地址，避免爬虫顺着入口反复訪問已经無效的頁面。
- 观察後續變化：索引移除需要時間，不用每天查一次，按周或按双周看趋势即可。
几個容易踩的坑
- robots.txt 屏蔽 + noindex 同时用：被 robots.txt 拦住的頁面爬虫抓不到，也就讀不到 noindex，两個指令叠加常常達不到预期效果。
- 全站兜底頁统一返回 200：错誤頁、參數错誤頁都返回 200，會让大量無效 URL 進入抓取队列。
- noindex 和 canonical 指向自己混用：信号互相矛盾时，處理结果會變得难以预测。
- 只改前端不改响應：頁面提示「已下架」但後端依舊返回 200，從搜尋的角度看没有變化。
判断标准可以简化成一句话：這個地址如果被用戶從搜尋里点進来，他能不能看到有用的東西？能，就保留並补内容；不能，就给出明确的狀態信号，別让它顶着 200 留在索引里。
软 404 的處理重点不在技巧，而在分類：先想清楚這個 URL 對用戶還有没有存在價值，再决定是让它消失、跳轉，還是补充成真正可用的頁面。分類清楚了，狀態碼、内鏈和站点地图的調整自然就有了顺序。