站点里總會有一批頁面：地址能打開，狀態碼是 200，但正文区域是空的，或者只顯示“暂無相關内容”“该商品已下架”。這類頁面常被称為软 404。它不像硬 404 那样给出明确信号，抓取工具會把它們当成正常頁面處理，只是内容比對後通常不會给出索引。問题在于，這類 URL 往往會被反复抓取，占掉本该给有效頁面的抓取机會。
软 404 和硬 404 的区別
硬 404 是服務器明确告诉你“這個地址没有内容”，抓取工具收到後會把该 URL 從待抓队列里逐步清理。软 404 則相反：狀態碼正常、HTTP 头正常，只有正文里没有實质内容。判断的關键不在狀態碼，而在于這個 URL 對用戶是否還有有效信息。
- 硬 404 / 410：服務器返回明确的不存在信号，處理干脆。
- 软 404：返回 200，但正文為空、只有導航和頁脚，或直接顯示错誤提示。
- 還有一種中間情况：頁面需要登入或触發驗證才能看到正文，抓取工具看到的是空白壳。
常见的软 404 场景
- 篩選和排序组合：篩選出零结果时，頁面只顯示“没有符合條件的商品”。
- 商品或内容下架：URL 保留，正文被清空，只剩模板。
- 過期活動頁：活動結束後内容刪除，頁面還在。
- CMS 里被清空的條目：标题還在，正文和图片都没了。
- 空分類或空标簽頁：分類下没有内容时仍然可以訪問。
- 站内搜尋结果頁：搜尋無结果时自動生成的頁面。
這些场景的共同点是：URL 由系統自動生成或歷史遗留，頁面本身没有獨立價值，但入口連結還在，所以會被持續發現和抓取。
為什么它會拖累收錄
搜尋引擎處理頁面时，會先抓取、再解析正文、最後判断是否值得進索引。软 404 卡在第二步和第三步之間：能抓，但内容不足以支撑索引。反复出現這類頁面，會带来几個连鎖影响。
- 抓取资源被消耗在無内容頁面上，有效頁面的更新可能被推迟發現。
- 站内連結指向空頁面，用戶点击後得不到结果，站内行為資料變差。
- 如果同一批模板頁大量空置，同目錄下真正有價值的頁面也容易被一起低估。
需要說明的是，這不等于“頁面數量多了就一定會被降權”。影响主要来自具体頁面的内容质量和連結指向，需要按目錄、按模板分別看，而不是笼统地删 URL。
怎么確認一個頁面是不是软 404
- 關掉缓存、带上未登入狀態打開頁面，看看正文区域還剩多少有效文字。
- 對比同模板的正常頁面，观察正文区的 HTML 结构是否被替換成了空容器。
- 在抓取日誌里找這類 URL，看它是不是被反复抓取、返回 200 但抓取频次始终不下降。
- 把平台後台的索引狀態和日誌交叉核對：日誌里抓了很多次，索引里却没有，通常說明内容判断没通過。
- 抽一批样本人工看一遍，不要只看狀態碼統計，狀態碼正常恰恰是這類問题的特征。
處理顺序建议
- 先定頁面去留：這個 URL 以後還會有内容吗？會，就补内容；不會，就進入刪除或合並流程。
- 能补内容的頁面：补上有效正文，加上指向相關頁面的内鏈，让它能被正常發現和评估。
- 确定不再使用的頁面：返回 404 或 410；如果有高度相關的替代頁面，用 301 指過去，一次性處理好，避免多級跳轉。
- 有入口連結的頁面：同时清理站内連結和 sitemap 里的记錄，否則入口還在，抓取還會不断回来。
- robots 屏蔽放在最後：屏蔽之後抓取工具看不到頁面内容，也就無法讀到 noindex，索引里的舊记錄可能長期留着。
软 404 的關键不是狀態碼，而是頁面是否還有對用戶有效的信息。處理时要先判断頁面定位，再選擇补内容、重定向還是返回 404，顺序反了容易反复。
软 404 往往不是單獨出現的，而是某個模板批量产生的结果。排查时先定位模板，再抽样具体 URL，比逐個頁面處理效率高得多。處理完之後隔一段時間再回看抓取日誌，確認這些地址的抓取频次确實降下来了。