蜘蛛顺着連結爬到一個頁面，服務器返回 200，看起来一切正常，但頁面主体只有一句「暂無内容」或干脆一片空白。這就是常见的软 404。它不是真正的 404，却比 404 更麻烦：蜘蛛會把它当成有效頁面，反复回訪；訪客点進来也找不到想要的答案。

软 404 為什么值得單獨自查

真正的 404 會明确告诉蜘蛛這個地址没有内容，蜘蛛一般會較快放弃。软 404 返回的是 200，蜘蛛只能靠頁面内容判断，判断标准又不统一。结果就是：

• 空頁面被当成正常 URL 參與抓取，占用抓取预算；
• 同類空頁面批量生成时，可能形成大量低质量索引；
• 訪客從搜尋结果点進来，看到的是空壳，体驗受损；
• 站点日誌里這些地址反复出現，干扰對真實抓取情况的分析。

對做 URL 發現和蜘蛛池相關工作的站点来说，這一点尤其重要。你希望蜘蛛把時間花在有内容的頁面上，而不是在一堆空地址之間来回確認。

常见的软 404 场景

1. 空栏目與空标簽頁

栏目刚建好還没放内容，或者标簽頁只挂了一两篇文章，模板仍然正常輸出 200。蜘蛛從導航或聚合頁爬進来，看到的是一張空列表。

2. 站内搜尋無结果

搜尋參數被蜘蛛抓到後，如果無结果頁也返回 200，就可能生成大量「没有找到相關内容」的地址。這類頁面通常没有獨立價值，也不适合被索引。

3. 已下架或已刪除的内容

商品下架、文章撤稿後，如果程序只是把正文清空，地址還返回 200，就會留下一個空詳情頁。訪客從舊連結進来，只能看到空白或預設提示。

4. 參數错誤與截断 URL

比如 id 不存在、頁碼超出范围、分類參數拼错，程序没有抛 404，而是渲染了一個空模板。蜘蛛可能因為站内某個错誤連結而爬到這些地址。

5. 模板渲染失敗

資料查询报错被静默處理，頁面框架還在，正文区域却是空的。這類情况平时不容易發現，日誌里可能有报错，但狀態碼仍是 200。

自查與判断方法

软 404 的麻烦在于它不會在狀態碼上暴露，需要结合内容判断。可以按下面的顺序检查：

1. 看狀態碼和頁面标题。用命令行工具或浏览器開發者工具確認返回的是 200 還是 404。狀態碼正常不代表内容正常，還要看頁面主体。
2. 抽查空列表頁。把栏目頁、标簽頁、搜尋頁的無结果狀態各点開一次，看返回碼和頁面提示。
3. 检查已下架内容。随机抽几個舊連結，確認是跳轉到相關頁面，還是留在了空詳情頁。
4. 翻訪問日誌。找那些被蜘蛛频繁訪問、但頁面标题相似且内容為空的地址，通常能發現一批软 404。
5. 用站点地图和内鏈做交叉驗證。如果 sitemap 或導航里還挂着這些空地址，說明清理范围不僅是狀態碼，還包括入口連結。

判断标准可以简單一些：如果這個頁面没有獨立内容，也不能给訪客提供有效信息，就不應该以 200 的狀態長期存在。

處理原則：该 404 就 404，该跳轉就跳轉

發現软 404 後，不建议一刀切。按頁面類型分別處理更稳妥：

• 彻底没有内容的地址：返回 404 或 410，並在站内移除對應連結。410 表示永久刪除，语义更明确，但並非必须。
• 有替代頁面的地址：做 301 跳轉到最相關的新頁面，比如下架商品跳到同類商品或分類頁。
• 暂时缺内容但會恢复的栏目：可以先返回 404，等内容准备好再上线，而不是让空頁面挂着。
• 搜尋無结果頁和參數頁：返回 404 或至少加 noindex，同时避免把這類地址寫進 sitemap。
• 确實需要保留的空狀態頁：补充引導内容，比如推荐連結、分類入口，让它對訪客有價值，再考虑是否允许索引。

和抓取预算、URL 發現的關系

蜘蛛發現 URL 的渠道很多：sitemap、内鏈、外鏈、歷史记錄、日誌里的舊地址。每多一個入口，就多一次抓取机會。如果這些入口指向的是软 404，蜘蛛每次来都要重新判断一遍，抓取预算就被慢慢消耗掉。

所以自查软 404 不只是改一個狀態碼，還包括整理入口：把 sitemap 里的空地址删掉，把導航和聚合頁里的空栏目隐藏，把舊連結集中做一次跳轉或清理。入口干净了，蜘蛛的到訪才更集中在有内容的頁面上。

上线後的复查

調整完成後，別只看一次。隔一周再抽查同一批地址，確認狀態碼稳定，没有因為模板更新又回到 200。同时观察日誌里這些地址的訪問频率是否下降。如果仍然频繁出現，說明還有内鏈或跳轉鏈没有處理干净，需要繼續往上找入口。

软 404 不會让站点立刻出問题，但它會一点点浪費蜘蛛的耐心。把空頁面当成正常頁面养着，時間越長，清理成本越高。定期做一次這样的自查，比等到索引里堆满空壳再回头處理要轻松得多。