搭蜘蛛池的入口頁时，很多人會盯着連結结构、跳轉方式和並發數量，却容易忽略一個更基础的問题：這些入口頁返回的狀態碼到底對不對。頁面明明已经空了、内容删了、模板出错了，服務器還是回一個 200，蜘蛛把它当正常頁面繼續抓，這就是软 404。
先分清几種狀態
- 200：正常。頁面有真實内容，蜘蛛會解析，並顺着連結往下走。
- 404：頁面不存在。蜘蛛會較快放弃這條地址。
- 410：明确告知已永久刪除，處理上比 404 更干脆。
- 软 404：頁面實际上没有有效内容，但服務器返回 200。蜘蛛要抓完、解析完，才可能察觉這個頁面没什么價值。
對蜘蛛池来说，前三種是可控的，软 404 是隐形的，它不會报错，只會悄悄吃掉抓取机會。
蜘蛛遇到软 404 會怎么走
不同搜尋引擎的處理细节有差异，但大致路径類似：
- 先按 200 正常抓取，消耗一次抓取配額。
- 解析正文，發現内容為空、過短，或者和标题完全對不上。
- 短期可能仍保留這條地址，但下次来訪的間隔會拉長。
- 如果同一批入口頁大面积出現這種情况，整個站点分到的抓取频次往往會下調。
換句话说，它更像慢性消耗。日誌里全是 200，看上去一切正常，但蜘蛛翻完就走，不往下走。
蜘蛛池里最常见的几種来源
- 列表頁資料被清空，模板照常渲染，只剩導航和頁脚。
- 伪静態規則寫错，所有不存在的路径都被重寫到首頁或某個空模板，返回 200。
- 内容刪除後只把正文置空，标题和侧栏還在，頁面看起来還是完整的。
- 頁面依赖 JS 渲染，服務端返回的是空壳 HTML，蜘蛛拿到手是空的。
- 分頁參數越界，比如 page=999，程序没做兜底，直接渲染空列表。
- 入口頁本身只為引導，正文只有一句“正在建设中”。
這些情况在蜘蛛池里很容易被忽略，因為入口頁數量多、更新快，人工一條條看並不現實。
怎么自查
- 批量看返回头。對一批入口 URL 只發請求讀狀態碼，不解析正文，重点挑出“200 但正文极短”的地址。
- 抽样對比。每批入口頁抽出若干條，把狀態碼、标题、正文長度三個字段放在一起看，明顯偏短的單列出来。
- 對照日誌。如果某批 URL 被抓了很多次，目标頁却始终没有後續抓取，先怀疑這批入口頁本身没给出可跟的連結或有效内容。
- 關掉 JS，直接看服務端返回的 HTML，確認蜘蛛第一眼看到的是什么。
- 检查伪静態和 404 兜底配置，確認不存在的路径不會统一回落到返回 200 的首頁模板。
修复思路
- 内容确實没了，就让它老老實實返回 404 或 410，別用空白模板加 200 糊過去。
- 分頁參數越界要有兜底，超出范围返回 404，而不是渲染空列表。
- 依赖 JS 的入口頁，至少保證服務端輸出的 HTML 里有可讀的标题、一段說明和几條連結。
- 某類入口頁長期给不出内容，可以考虑直接下线，把抓取机會留给能出東西的路径。
- 修改後不必天天盯，按周看一次狀態碼分布和正文長度分布就够用。
软 404 的影响不會立刻体現在日誌里，它通常表現為抓取量看着正常，但往下走不動。排查抓取效率問题时，把狀態碼和正文長度放在一起看，比只看日誌總量更有意义。
小结
蜘蛛池的效率，很大程度上取决于蜘蛛每次来訪能不能拿到有效信息。软 404 把没有内容伪装成一切正常，让抓取预算花在了空頁面上。把狀態碼、正文長度和連結出口這三件事對齐，比一味堆更多入口地址更實际。