在蜘蛛池里，入口頁只负责“给出連結”，真正被评估的是目标 URL 自己返回了什么。很多站点运营者只盯着入口頁有没有被爬，却忽略了目标 URL 的狀態碼，结果日誌里爬虫来了、連結也被识別了，但目标頁面始终没有進入後續流程。
為什么狀態碼比“連結有没有放”更關键
搜尋蜘蛛發現一個連結後，下一步是抓取這個 URL 並讀取响應。响應结果决定了它接下来做什么：是繼續跟進、換地址，還是暂时放弃。入口頁做得再好，也只是把 URL 送進队列；队列里的 URL 能不能被正常處理，取决于目标端本身。
301 / 302 跳轉：容易被当成“換了個地址”
如果目标 URL 是 301 永久跳轉，搜尋蜘蛛通常會记住新的地址，之後按新地址抓取。問题在于：入口頁一直指向舊地址、舊地址又反复跳轉，長期看等于在浪費抓取次數。更稳妥的做法是把入口頁里的連結直接改成跳轉後的最终地址。302 属于临时跳轉，反复出現时容易被理解為地址不稳定，同样建议尽量收敛成一跳。
404 / 410：連結會被逐步清理
持續返回 404 或 410 的 URL，被反复抓取確認後，通常會被标记為不存在。此时入口頁還挂着這個連結，除了消耗抓取预算没有別的意义。比較實际的處理方式是：確認頁面确實下线，就從入口頁移除；如果只是暂时改版，用 301 指向新頁面。
503 / 429 / 超时：更多是“暂时抓不動”
服務器過载、限流或响應太慢时，目标 URL 可能返回 503、429 或直接超时。這類情况搜尋蜘蛛一般會降低對這一段的抓取频率，等一段時間再试。如果入口頁每天都把同一批地址推出去，而目标站一直扛不住，抓取量會整体下滑。先解决服務器和限流問题，再谈入口頁的連結數量。
403 / 驗證碼拦截：不是狀態碼問题，而是“看不到内容”
有些目标 URL 對正常浏览器返回 200，對爬虫返回 403 或直接彈驗證碼。這種拦截發生在入口頁之外，入口頁怎么調整都没用，需要從防火墙規則、UA 策略、訪問频率层面去看。
發現狀態碼異常後的處理顺序
- 先看日誌：確認爬虫請求的是目标 URL，還是只到了入口頁。
- 手動复現：用不带 Cookie、不带缓存的請求訪問目标 URL，看實际返回什么。
- 区分永久與临时：永久問题改連結或刪除，临时問题降低推送频率。
- 再調入口頁：確認目标端正常後，才考虑增减入口頁里的連結數量。
几個容易忽略的细节
- 同一個目标 URL 在不同入口頁里指向的地址要一致，避免一會儿带參數、一會儿不带。
- 跳轉鏈尽量控制在一跳以内，中間环节越多越容易断。
- 返回 200 但内容是空壳頁或错誤提示頁，效果和 404 差不多。
入口頁解决的是“被發現”，目标 URL 的狀態碼解决的是“能不能被繼續處理”。把這两件事分開排查，定位問题的速度會快很多。
狀態碼只是起点，不是唯一指标。即便目标 URL 返回 200、内容也正常，也不代表一定會被收錄或获得排名，這些最终由搜尋引擎自己判断。把能控制的部分做干净，剩下的交给時間。