狀態碼说“正常”，内容却在说“没有”
服務器返回 200，頁面也能打開，但正文几乎是空的——這類頁面在搜尋引擎眼里属于软 404。它和真正的 404 有本质区別：404 是明确告诉爬虫“這個地址的内容已经不存在了”，而软 404 传递的是互相矛盾的信号，爬虫只能自己判断，判断的代價是反复抓取、長期犹豫。
软 404 通常出現在哪些頁面
- 篩選條件组合後没有结果的列表頁，頁面框架完整，商品或文章數為零；
- 站内搜尋無结果时跳轉到的提示頁，仍以 200 返回；
- 已经下架、刪除的詳情頁，被模板兜底成一個“暂無内容”的空壳；
- 程序異常时返回的占位頁，把错誤信息寫進了正常頁面模板；
- 列表頁翻到超出范围的頁碼，例如第 500 頁只有空列表。
它對抓取和收錄的影响
首先是抓取资源的消耗。软 404 會被当成正常頁面處理，爬虫可能在後續周期里一次次回来確認，這些請求本可以留给真正需要收錄的 URL。其次是索引侧的取舍困难：頁面既没有明确失效，又没有實质内容，搜尋引擎可能選擇不索引，也可能短暂索引後又移除，造成收錄資料来回波動。
如果站内存在大量這類頁面，它們還會稀释站点的整体质量判断。尤其当空頁面和有效頁面共用同一套模板、同一批内鏈时，爬虫很难只靠结构区分哪些值得留。需要說明的是，處理软 404 不會直接带来收錄上的好處，它的價值在于减少無效抓取、让狀態信号更干净。
怎么把它們找出来
- 抽样检查：從篩選頁、下架詳情頁、搜尋無结果頁中随机取几條，看訪問时返回的狀態碼和正文字數；
- 用抓取工具批量跑一遍，導出狀態碼為 200 但内容長度明顯偏低的 URL；
- 對比收錄狀態报告，看是否有标题為空、描述為模板文案的異常條目；
- 查站内日誌，观察那些被反复抓取、却始终没有产生索引變化的地址；
- 把结果按頁面對應到具体模板，多數软 404 都能归到少數几個模板上。
處理方向：让狀態碼和内容说同一件事
判断标准很简單——這個頁面以後還會不會有實质内容。不會再有的，直接返回 404，需要更明确信号时可用 410；只是暂时没有内容的，保留 200 但补上說明性文字，並视情况加 noindex；确實该保留的列表頁，至少在無结果狀態下给出替代内容或引導連結。
狀態碼是给爬虫看的结论，不是给用戶看的提示。用戶在頁面上看到“没有结果”，爬虫也應该從狀態碼上讀到同样的结论。
改完之後不需要期待立刻见效。抓取和索引判断都有周期，重点是把新信号稳定下来，再用一段時間的日誌和索引报告去核對，而不是反复調整。