蜘蛛抓取頁面时，第一步不是看内容，而是看服務器返回的狀態碼。狀態碼决定了這次抓取是成功、失敗，還是需要稍後再来。不同狀態碼會让蜘蛛調整對站点的抓取节奏，有的只是临时降速，有的則會让 URL 從待抓队列里消失。
5xx：服務器错誤會让抓取變保守
500、502、503、504 這類 5xx 狀態碼，通常代表服務器临时無法正常响應。蜘蛛遇到 5xx，不會马上把頁面判為無效，但會把這轮抓取标记為失敗，並在一段時間後重试。
如果 5xx 只是偶尔出現，影响有限。但如果同一目錄下多個 URL 连續返回 5xx，蜘蛛會認為這個站点或這個目錄暂时不稳定，降低抓取频率，把抓取額度让给其他更稳定的站点。
持續性的 5xx 比單次超时更麻烦，它會让蜘蛛在後續調度中把站点归到“暂缓”一類。
503 與 Retry-After：主動限流的正确用法
503 可以配合 Retry-After 响應头使用，告诉蜘蛛多久之後再来。如果站点正在维護、回源压力大，或者需要临时限流，返回 503 加 Retry-After 比直接返回 200 空頁面或 500 更清晰。
- Retry-After 可以是秒數，也可以是 HTTP 日期。
- 時間設定要合理，過長會让頁面更新延迟被感知。
- 维護結束後及时恢复 200，不要長期挂着 503。
429：請求過多时的限速信号
429 表示請求频率超過了服務器允许的范围。蜘蛛收到 429 後，通常會降低對该站点的並發請求數，並稍後重试。如果站点确實有抓取压力，可以在服務器层面對已知蜘蛛做合理限速，但不要用 429 覆盖所有正常抓取。
频繁誤报 429 會让蜘蛛認為站点容量不足，减少總体抓取量。尤其是 CDN 或 WAF 規則配置過嚴时，真實蜘蛛也可能被拦截。
403 與 401：被拒绝的抓取
403 表示服務器理解請求但拒绝执行，401 表示需要認證。蜘蛛遇到這两個狀態碼，通常不會反复尝试，而是把 URL 标记為不可訪問。如果頁面本来是公開内容，却因為防火墙、防盗鏈或權限配置返回 403，就等于主動把蜘蛛挡在门外。
404 與 410：明确告诉蜘蛛頁面没了
404 和 410 都表示资源不存在，蜘蛛會逐步把這類 URL 從抓取队列中移除。区別在于 410 更明确地表示“永久刪除”。如果頁面只是暂时下线，不要用 404 或 410，否則蜘蛛可能較快放弃回爬。
301 與 302：跳轉消耗抓取路径
301 是永久跳轉，蜘蛛會把權重和抓取路径轉移到新地址。302 是临时跳轉，蜘蛛通常仍會保留原 URL 並繼續观察。多跳重定向會額外消耗抓取预算，能一次跳到位就不要串成三跳。
怎么减少狀態碼带来的抓取波動
- 监控服務器日誌里蜘蛛請求的返回碼分布，重点看 5xx 和 429 的比例。
- 检查 CDN、WAF、负载均衡是否對蜘蛛誤拦截。
- 資料库或後端超时導致的 5xx，優先解决慢查询和连接池問题。
- 维護窗口尽量短，並用 503 加 Retry-After 代替直接断服務。
- 頁面永久迁移用 301，临时調整用 302，不要混用。
對蜘蛛来说，稳定返回 200 的站点比偶尔很快、偶尔报错的站点更值得信任。抓取节奏不是靠單次响應速度决定的，而是靠長期狀態碼记錄累积出来的。