做蜘蛛池和 URL 發現时，很多人只盯着「目标 URL 有没有被抓」，却忽略了「抓的时候目标站回了什么」。同一個目标 URL，返回 200、503、429 還是 403，搜尋蜘蛛接下来的動作完全不同，而這又直接决定了它之後還愿不愿意来、隔多久来一次。
先分清：几類狀態碼传递的信号不一样
- 503 Service Unavailable：服務器暂时不可用，属于临时性故障。
- 429 Too Many Requests：請求太多，你在限流，属于速率信号。
- 403 / 401：明确拒绝訪問，属于權限层面的拦截。
- 500：服務器内部报错，同样偏临时性，但要看是否持續。
- 404 / 410：内容不存在，属于另一套處理逻辑，不在本文讨论范围。
這几類狀態碼的共同点是：抓取端通常不會因為一次失敗就把 URL 永久划掉，但它們的重试节奏和降速幅度差別很大。
503：算临时故障，會退避重试
搜尋蜘蛛遇到 503，一般會理解為「服務器暂时打不開」，而不是「這個頁面没了」。它不會立刻放弃，但會拉長重试間隔，從几小时逐步放大到一天、几天。如果目标 URL 连續多天都返回 503，抓取频次會肉眼可见地下降，甚至暂时從抓取队列里退到後面。
這里有一個容易被忽略的细节：如果确實是計划内维護，返回 503 的同时带上 Retry-After 响應头，比随意返回 200 加一個「網站维護中」的頁面更清晰。後者容易被当成内容變化，反复抓取一個没有實质内容的頁面。
注意：如果维護頁返回 200 且内容很薄，既不算有效内容，又占用了抓取预算，長期看並不划算。
429：抓太快了，抓取端會主動降速
429 更像是你在對搜尋蜘蛛说「慢一点」。這種情况一般不是惩罚，而是限流信号。抓取端收到後通常會降低對该目錄或该域名的並發請求數，把抓取時間拉長、分散開来。
實际运营中常见两種誤操作：一是防火墙規則誤伤了搜尋蜘蛛的 IP 段，導致目标 URL 大量返回 429；二是入口頁集中铺量，同一時間把大量目标連結推给同一個域名，触發目标站的限流阈值。前者是配置問题，後者是节奏問题，都可以調整。
403 / 401：容易被当成長期不可訪問
403 传递的是「我明确不让你看」。如果目标 URL 對搜尋蜘蛛持續返回 403，抓取端會逐步降低抓取意愿，最终可能直接跳過這個 URL。需要区分两種情况：一種是目标站确實做了防盗鏈或 IP 白名單，另一種是 CDN 或 WAF 的預設策略把搜尋引擎 UA 拦了。
比較務實的做法是：在服務器日誌里按狀態碼筛一遍，看看 403 是集中在某几個 IP 段，還是全量命中。如果全量命中，基本可以确定是策略配置問题，而不是蜘蛛本身的問题。
一份可落地的排查清單
- 先看目标站日誌，統計 5xx、429、403 各自占比，別混在一起看。
- 確認限流規則是否對已知搜尋蜘蛛做了白名單或單獨放宽。
- 检查入口頁推連結的节奏，避免同一小时内對同一目标域名推送過多 URL。
- 如果是真實维護，規范返回 503 並配合 Retry-After，而不是返回空壳 200 頁面。
- 观察一到两周的抓取趋势，再决定是調整入口頁數量還是修服務器配置。
- 把狀態碼異常和「抓取量下降」两件事分開判断，避免誤以為是入口頁失效。
別把希望全押在「多铺入口頁」上
当目标 URL 持續返回異常狀態碼时，繼續加入口頁、加連結數量，通常只會把同一個問题放大：更多的請求打到一台本就吃力的服務器上，429 和 503 出現得更频繁。更合理的顺序是先让目标站能稳定返回 200，再谈 URL 發現的广度和频率。
抓取本身是一個双方配合的過程。入口頁负责让 URL 被看到，目标站负责让抓取能顺利完成，缺了後一半，前面铺得再多也很难轉化成實际的抓取结果。