在排查蜘蛛池入口頁时，很多人先看狀態碼。只要返回 200，就觉得“頁面正常，搜尋蜘蛛應该會抓”。但實际抓取中，還有一種更隐蔽的情况：HTTP 狀態碼是 200，頁面却几乎是空的，或者只有模板框架、没有有效連結和文字。這類頁面通常被称為软 404。
软 404 為什么容易出現在入口頁
入口頁往往由程序批量生成，依赖資料库、缓存或模板變量。只要其中一個环节為空，頁面就可能被“正常”輸出：
- 資料库查询没有结果，頁面仍然渲染出标题和頁脚；
- 缓存過期後返回了空壳 HTML，狀態碼仍是 200；
- 連結由 JavaScript 插入，但脚本报错或接口超时，搜尋蜘蛛拿到的是空容器；
- WAF 或反爬策略拦截了搜尋蜘蛛，却返回 200 加驗證頁。
對訪問者来说，這些頁面看起来像故障；對搜尋蜘蛛来说，它們仍然是可抓取的 URL，只是没有值得解析的内容。
搜尋蜘蛛遇到软 404 时，通常會發生什么
不同搜尋引擎的處理细节不完全一样，但常见表現有几類：
- 不繼續解析連結：頁面里没有有效連結，目标 URL 自然無法通過這一頁被發現。
- 降低抓取频次：如果同一批入口頁長期返回空内容，搜尋蜘蛛可能减少對這批 URL 的訪問。
- 從索引中移除：已经收錄的空壳頁可能被判定為低质量頁面，逐渐不再展示。
- 浪費抓取预算：搜尋蜘蛛把時間花在空頁上，真正需要被抓取的目标 URL 就會排队更久。
這里要区分一点：搜尋蜘蛛仍然可能抓取入口頁，只是抓取之後没有获得有效信号。所以“狀態碼 200”不等于“抓取有效”。
怎么判断入口頁是不是软 404
不要只看狀態碼。可以按下面几步查：
- 用命令行工具請求入口頁，观察返回体大小。正常入口頁和空壳頁的体积往往差很多。
- 查看渲染後的 HTML，而不是只看源代碼。如果連結是 JS 插入的，需要確認执行脚本後是否真的有連結。
- 對比同一批入口頁：如果只有少數頁面体积異常小，優先怀疑資料源或模板。
- 检查服務器日誌中的响應字节數。狀態碼 200 但字节數很低，是软 404 的常见信号。
- 排查 WAF 日誌，確認搜尋蜘蛛是否被拦截後返回了自定义頁面。
狀態碼是给抓取器看的，内容才是给抓取器判断的。两者不一致时，問题通常出在程序輸出环节。
修复顺序：先让狀態碼说真话，再补内容
如果入口頁确實没有内容，不建议長期用 200 空頁硬撑。更合理的顺序是：
- 返回正确的狀態碼：無對應内容时返回 404 或 410，让搜尋蜘蛛明确知道這一頁不存在。注意，不要把所有入口頁都改成 404，只處理真正空壳的 URL。
- 补上有效内容：如果入口頁還需要承担連結發現的作用，就确保頁面里有可抓取的連結和基本說明文字，不要只放一個空 div。
- 處理反爬誤伤：確認搜尋蜘蛛的 User-Agent 和 IP 没有被誤拦。如果必须拦截，也要返回明确狀態，而不是 200 驗證頁。
- 考虑 noindex：入口頁本身通常不需要被收錄。如果頁面有内容但不想進索引，可以用 noindex，但要注意 noindex 不等于 nofollow，連結仍可能被抓取。具体策略要结合站点實际。
- 监控响應体大小：把入口頁的字节數纳入日常巡检，比只看狀態碼更早發現問题。
和抓取预算的關系
蜘蛛池的入口頁數量通常不少。如果其中一部分長期是软 404，搜尋蜘蛛仍然會消耗抓取配額去訪問它們，但拿不到新 URL。结果就是：入口頁看似“活着”，目标 URL 的發現效率却在下滑。
所以，软 404 不是單纯的技術报错，它會影响 URL 發現的整体节奏。定期抽样检查入口頁的响應体、渲染後内容和連結數量，比一次性加大量入口頁更有意义。
最後提醒：不要為了绕過软 404 而把空頁面强行填充關鍵詞或隐藏連結。搜尋蜘蛛對空壳頁和低质量頁的判断越来越细，短期看似恢复了 200，長期仍然可能降低抓取意愿。把狀態碼、内容和連結都做成真實可解析的狀態，才是更稳的做法。