很多人看蜘蛛池，第一眼盯的是抓取量、入口頁數量、目标頁收錄。但入口頁返回给爬虫的第一個信号，其實是 HTTP 狀態碼。狀態碼不對，後面的連結、内容、内鏈都容易被爬虫打折處理。狀態碼是最短的沟通方式，也最容易被忽视。
為什么狀態碼值得單獨拿出来看
爬虫進入一個 URL，先拿到狀態碼，再决定下一步：是繼續解析頁面，還是把它标记為失效，或者暂时降低對整站的訪問频率。入口頁數量多、更新频繁时，狀態碼一旦混乱，問题會被放大。
- 200：正常返回。爬虫會繼續解析頁面、提取連結。但 200 不等于有效，软 404 也常以 200 返回。
- 301 / 302：跳轉。爬虫會跟随，但鏈路過長會稀释權重和抓取效率。
- 404 / 410：资源不存在。前者偏临时，後者偏永久。爬虫會逐步减少甚至停止訪問。
- 403 / 401：被拒绝。可能是權限、WAF 或防盗鏈誤伤，不一定是頁面真的没了。
- 5xx：服務端错誤。爬虫通常视為临时故障，但持續 5xx 會让它降低抓取频率。
几個常见狀態碼的實际用法
200 與软 404
入口頁返回 200，但頁面里只有一句“内容不存在”或空模板，這就是软 404。爬虫會把它当正常頁面入库，浪費抓取配額，還可能把空頁面当成低质信号。判断方法很简單：頁面是否有實际可讀内容、是否有可跟進的連結、title 與正文是否一致。
404 與 410 怎么選
如果入口頁只是暂时下线、後面還會恢复，用 404 更合适；如果确定永久刪除，可以考虑 410。两者的差別更多是给爬虫的“确定性”信号，實际影响取决于頁面是否還有外部連結、是否在 sitemap 里。不要為了省事把所有失效頁都 302 到首頁，這會让爬虫反复抓取同一個首頁，也容易造成狀態碼與内容不匹配。
503 不是萬能挡箭牌
维護、限流、临时压力大时，503 比直接 500 更規范，最好带上 Retry-After 头，告诉爬虫多久後再来。但如果入口頁長期返回 503，爬虫會認為站点不稳定，抓取节奏會明顯放慢。频繁 503 和频繁 500 在爬虫眼里都不算好信号。
容易踩的坑
- 全站错誤頁统一返回 200，導致大量软 404。
- 404 頁面里放了自動跳轉，爬虫跟随後又回到正常頁，狀態碼與最终内容矛盾。
- 入口頁刪除後没有做任何處理，大量死鏈長期存在。
- WAF、CDN 或限速策略誤伤蜘蛛，返回 403 或 503，自己却以為頁面正常。
- 用 302 把失效入口頁批量指向目标站首頁，短期看似省事，長期會干扰爬虫對 URL 的判断。
检查與處理建议
- 定期抽样检查入口頁狀態碼。可以用命令行請求头、日誌里的狀態碼字段，或者批量檢測工具，按 2xx、3xx、4xx、5xx 分组看比例。
- 重点盯 4xx 和 5xx。4xx 偏高說明入口頁在批量失效；5xx 偏高先查服務器、限速和防護策略，而不是急着加新頁面。
- 建立入口頁淘汰與补位节奏。確認要撤的頁面，返回合适的 404 或 410，再從 sitemap 和内鏈里移除，同时补充新的入口頁。
- 统一错誤頁。错誤頁只說明狀態，不要自動跳首頁，也不要返回 200。
- 把狀態碼纳入日常巡检。入口頁數量越大，越需要靠分组統計而不是逐個打開看。
狀態碼的作用是如實告诉爬虫“這個 URL 現在是什么情况”。能用真實狀態碼解决的，尽量不要用跳轉或 200 兜底。
蜘蛛池里的很多問题，最後都會落到“爬虫能不能顺畅地判断這個頁面”。狀態碼是這個判断里最基础的一环。入口頁規模越大，越值得把狀態碼当成一項常規指标来看，而不是等到抓取量掉了再回头排查。