软 404 指的是頁面返回 200 狀態碼，但内容為空、模板残缺、只顯示一句错誤提示，或者没有有效出鏈。對用戶来说它像坏頁面，對蜘蛛来说它却是一個“正常可抓取”的 URL。蜘蛛會繼續沿着内鏈或 Sitemap 進入，抓完才發現没有可用信息，于是抓取路径在這里多了一次無效訪問。
蜘蛛進入软 404 时看到什么
蜘蛛不會因為頁面長得空就立刻判定它不存在。它先看 HTTP 狀態碼，再看正文、标题、结构化資料和出鏈。如果返回 200，蜘蛛會把它当作有效頁面處理，可能缓存、分析，甚至等待它下次更新。
- 正文長度接近零，或者只有登入、篩選、加载中的提示。
- 頁面标题和描述重复，多個 URL 看起来像同一個空壳。
- 出鏈很少，蜘蛛找不到繼續向前的路径。
- 同一模板生成大量空頁面，URL 结构不同但内容相同。
這和硬 404 不同。硬 404 會让蜘蛛較快放弃這個地址，软 404 則可能被反复回訪，因為它一直返回成功狀態。
软 404 常從哪些内鏈位置出現
软 404 往往不是單獨出現的，它和内鏈结构、URL 生成方式有關。下面几類位置比較常见。
- 篩選與排序參數：參數组合没有结果时，頁面仍返回 200，並顯示空列表。
- 已下架商品或過期活動：詳情頁還在，内容被清空，但模板繼續輸出。
- 分頁越界：翻到没有資料的頁碼，頁面不报 404，只顯示“暂無内容”。
- 用戶中心或搜尋頁：未登入、無结果、無權限时仍以 200 返回空壳。
- 改版残留：舊模板被替換後，部分路径没有正确返回 404 或 410。
判断软 404 不能只看頁面是否报错，還要看它是否值得被蜘蛛放進抓取队列。返回 200 但没有任何有效信息的 URL，會持續消耗抓取机會。
它對 URL 發現和抓取预算的影响
URL 發現依赖連結、Sitemap 和蜘蛛已有记錄。当空頁面大量存在时，蜘蛛會沿着内鏈不断發現它們，却带不回新内容。抓取预算被分到這些 URL 上，真正需要更新的頁面反而可能等更久。
更麻烦的是，软 404 常常成批出現。一個篩選參數可以生成几十個空结果頁，一個分頁規則可以生成大量越界地址。蜘蛛會把這些 URL 当作站点结构的一部分，抓取路径因此變長。
從服務器和内鏈两侧處理
服務器端先明确狀態碼
- 確認頁面确實没有内容时，返回 404 或 410，而不是繼續用 200 輸出空模板。
- 對临时無结果的篩選頁，考虑返回 200 但加 noindex，或者直接阻止無意义參數组合被連結。
- 分頁越界统一返回 404，不要用空列表頁承接。
- 检查反爬和限速配置，避免因服務器压力誤伤正常抓取，让蜘蛛把超时誤判成内容缺失。
内鏈與 Sitemap 减少空 URL 入口
- 列表頁只連結有内容的詳情頁，空结果不生成可抓取連結。
- 篩選參數用 robots.txt 或頁面級規則控制，避免蜘蛛進入组合爆炸。
- Sitemap 只放有實质内容、需要被發現的 URL，不要混入空壳頁。
- 站点地图頁和频道頁定期清理失效入口，保持抓取路径干净。
怎么驗證處理是否有效
處理之後不要只看一次抓取日誌。可以观察一段時間内這些 URL 的狀態碼是否變化，蜘蛛訪問频率是否下降，有效頁面的抓取量是否回升。如果服務器日誌里同一空模板仍被大量抓取，說明内鏈或 Sitemap 里還有入口没有清掉。
软 404 不是單一頁面問题，而是抓取路径上的结构問题。把空頁面從“可抓取”變成“明确不存在”，蜘蛛才能把時間放到真正需要發現的 URL 上。