搜尋蜘蛛找到一條 URL，只是完成了“知道它存在”這一步。真正决定這條 URL 有没有價值的，是抓取之後拿到的内容。如果頁面返回 200，却几乎没有實质内容，這類頁面通常被称為软 404——它占着抓取机會，却交不出可用的结果。
软 404 的常见形態
软 404 不是技術错誤，而是一種狀態错位：HTTP 狀態碼说“正常”，頁面内容却在说“這里没有東西”。常见形態包括：
- 篩選或排序後的空结果頁，例如“颜色 + 尺碼”组合下没有商品；
- 已下架、已刪除的商品或文章詳情頁，模板還在，正文被清空；
- 空分類、空标簽、空作者归档頁；
- 需要登入或授權才能看到内容的頁面，蜘蛛只拿到一句提示；
- 内容依赖前端脚本渲染，首屏 HTML 里只有骨架。
它對抓取與 URL 發現的實际影响
软 404 通常不會让 URL 消失，反而更容易被持續發現，因為它往往還挂在内鏈、Sitemap 或分頁列表里。問题主要出在三個地方：
- 占用抓取机會。蜘蛛每次来訪都花在空頁面上，同样時間能覆盖的有效 URL 就變少。
- 干扰内容判断。大量“有 URL 没内容”的頁面，會让站点整体顯得單薄。
- 内鏈價值被稀释。指向空頁面的連結，等于把權重送進一條没有终点的路径。
自查：先從真實日誌和抽样開始
不要凭感觉判断。可以按下面的顺序核對：
- 從抓取日誌里挑出返回 200、但响應体明顯偏小的 URL；
- 按模板归類，例如詳情模板、篩選模板、归档模板，看問题集中在哪一類；
- 抽样打開，確認是空内容、骨架屏，還是被登入墙挡住；
- 回到站内搜尋與内鏈，看這些 URL 是否仍被大量連結指向。
怎么處理：保留、修复還是收敛
按頁面是否還有未来價值分開處理：
- 确定不再有内容：下架商品、刪除文章，返回 404 或 410，比返回 200 空頁更清晰。
- 内容會回来：保留 URL，但补上說明與替代推荐，让頁面有可用信息，而不是一片空白。
- 同類空頁會大量再生：從入口层面收敛，减少可被發現的空组合 URL，例如限制篩選參數组合的連結輸出。
- 已合並到新頁面：用 301 指向替代 URL，並同步更新内鏈指向。
一個容易被忽略的细节
空结果頁往往带有大量參數變体。處理时不要只改狀態碼，還要看這些變体是從哪條連結生成的。入口不收，空 URL 就會繼續長出来。
URL 被發現是门票，内容才是入场的理由。软 404 不解决，抓取路径上就會一直挂着走不到尽头的分支。
和 URL 發現的關系
發現机制本身可能没有問题，Sitemap、内鏈、列表頁都在正常工作。要調整的是發現之後的结果：让蜘蛛抓到的 URL，尽量落到一個内容明确的頁面上。定期核對“被發現的 URL”和“有内容的 URL”之間的差額，是站点运营中相對省力的一種维護方式。