入口頁能不能把搜尋蜘蛛带到目标 URL，第一步不是看連結怎么寫，而是看搜尋蜘蛛請求這個入口頁时，服務器回了什么狀態碼。狀態碼不對，後面的連結解析、抓取排队都無從谈起。
搜尋蜘蛛拿到不同狀態碼之後的反應
200：正常返回，連結才有机會被解析
只有返回 200 且内容完整时，搜尋蜘蛛才會解析頁面里的 a 标簽，把目标 URL 放進待抓取队列。注意是“放進队列”，不代表马上抓，也不代表一定會被收錄。
301 / 302：跳轉會被跟随，但中間多一层损耗
搜尋蜘蛛一般會跟随跳轉，繼續請求跳轉後的地址。如果入口頁本身只是一個中轉站，跳轉鏈每多一层，抓取配額和時間就多消耗一份。301 表示永久，搜尋引擎倾向于把信号收敛到新地址；302 表示临时，入口頁仍被当作獨立 URL 對待，容易被反复回訪。
還有一点容易被忽略：如果入口頁 301 到目标 URL，等于告诉搜尋引擎“入口頁是目标 URL 的舊地址”，這跟“入口頁用来分發連結”的目的並不一致。
403 / 401 / 429：直接被拦在门外
403 表示服務器拒绝，搜尋蜘蛛看不到頁面内容，也就不會解析任何連結。429 是請求過多，通常說明入口頁被限流，搜尋蜘蛛會降低抓取频率，嚴重时長時間不再回訪。
404 / 410 / 5xx：入口頁本身失效
404、410 說明入口頁已经不存在，搜尋引擎會逐步把它從索引中移除，之前积累的抓取记錄也會衰减。5xx 是服務器错誤，短期會被视為临时故障，長期频繁出現同样會導致抓取频率下降。
meta refresh 與 JS 跳轉
這两種方式不产生 HTTP 狀態碼，搜尋蜘蛛的處理意愿明顯弱于 3xx 跳轉。能用真實跳轉或直接列出連結解决的，就不必绕這一层。
跳轉鏈的長度，直接影响發現效率
- 一跳（入口頁 200，直接列出目标連結）：最理想。
- 两跳以内：可以接受，但每层都會消耗抓取预算。
- 三跳以上：搜尋蜘蛛可能中途放弃，或者只抓到鏈路的某一段。
如果跳轉是循环的，或者最终落到一個 404，這次訪問基本等于浪費。
用日誌判断狀態碼是否在拖後腿
- 在服務器日誌里筛出搜尋蜘蛛的 UA。
- 看入口頁那一行的狀態碼分布：是不是大量 302、403 或者 5xx。
- 看跳轉後的地址是否也被抓過，两次抓取之間隔了多久。
- 對比目标 URL 是否出現在日誌里，出現了几次。
- 如果入口頁抓取正常、目标 URL 却長期零抓取，問题多半在連結解析之後的环节，而不是狀態碼。
几個容易忽略的坑
- CDN 或 WAF 對搜尋蜘蛛返回 403，但你自己用浏览器訪問却是 200，這種情况很常见，需要單獨用 UA 測試。
- HTTPS 證书错誤、域名解析不稳定，會让搜尋蜘蛛拿到连接失敗，日誌里甚至不落一條记錄。
- 入口頁返回 200，但内容是空的或者完全靠 JS 渲染，連結依然不會被發現。
- robots.txt 里對搜尋蜘蛛做了限制，狀態碼再正常也没有用。
- 入口頁频繁在 200 和 5xx 之間摇摆，比稳定返回一個错誤更伤抓取节奏。
小结
狀態碼是入口頁能否發挥作用的门槛，不是保證。200 加可解析的連結加稳定响應，是基本盘；301/302 要控制层數，403、429、5xx 要尽快修。修完之後用日誌观察两到四周，再判断目标 URL 的發現是否恢复，比立刻下结论更靠谱。
搜尋蜘蛛發現 URL、抓取 URL、把 URL 放進索引，是三件不同的事。狀態碼只影响前两件，第三件取决于目标 URL 自身的内容质量。