重定向不是错誤，但會改變抓取路径
站点改版、換域名、調整目錄结构时，重定向是最常见的衔接手段。對用戶来说，浏览器地址栏變一下、頁面正常打開，体驗上几乎没有感觉；但對搜尋蜘蛛来说，它拿到的第一個响應並不是内容頁，而是一個 3xx 狀態碼和 Location 头。蜘蛛需要再發一次請求，才能到達最终頁面。也就是说，一次重定向至少多消耗一次請求，抓取路径從一步變成了两步甚至更多。
重定向本身不會直接導致頁面不被抓取，但如果鏈路過長、指向混乱，蜘蛛的抓取节奏和 URL 發現效率都會受到影响。
301、302、307、308 在蜘蛛眼里差別在哪
這些狀態碼都表示内容在別處，但语义和蜘蛛的處理方式並不完全相同。
- 301 Moved Permanently：永久跳轉。蜘蛛通常會把舊 URL 的索引信号逐步轉移到新 URL，後續也更倾向于直接抓新地址。
- 302 Found：临时跳轉。蜘蛛會跟過去看内容，但一般不會立刻把舊 URL 替換掉，而是保留观察。把 302 当成長期迁移手段，容易让新舊地址長期並存。
- 307 Temporary Redirect：临时跳轉，且明确要求保留原請求方法。對蜘蛛的 GET 請求来说，表現接近 302，但语义更嚴格。
- 308 Permanent Redirect：永久跳轉，同样保留請求方法，语义上對應 301 的嚴格版本。
實际選擇时，永久迁移用 301 或 308，临时調整用 302 或 307。關键不是狀態碼本身，而是別让蜘蛛長期在多個地址之間来回判断。
重定向鏈一長，抓取成本就上去了
單次跳轉可以接受，但 A 到 B 到 C 到 D 這样的鏈式跳轉，每一跳都要重新建立請求、等待响應。抓取预算有限时，蜘蛛花在跳轉上的時間越多，能用来抓取有效内容的請求就越少。更麻烦的是，鏈路中間任何一個节点响應慢、返回 5xx 或超时，整條路径都可能中断，最终頁面也就迟迟無法被發現或更新。
经驗上，尽量把重定向控制在一次以内。超過两跳的鏈路，就值得回到服務器配置和内鏈里查一查。
几種容易出問题的重定向寫法
循环跳轉與自我跳轉
A 跳到 B，B 又跳回 A，或者頁面重定向到自己，蜘蛛會反复請求，最後放弃。這類問题常出現在規則叠加、HTTPS 與 HTTP 互相跳轉、带與不带 www 的域名配置冲突时。
重定向到不相關頁面
舊产品頁 301 到首頁或分類頁，蜘蛛能跟過去，但新地址和原内容主题不一致。用戶和蜘蛛都容易困惑，舊 URL 积累的信号也难以准确传递。更稳妥的做法是跳到内容最接近的新頁面；确實没有對應内容时，再考虑 410 或合适的替代頁。
JS 跳轉與 meta refresh
用 JavaScript 或 meta refresh 做跳轉，蜘蛛不一定能及时执行，或者执行優先級低于普通連結。能用服務器端 3xx 解决的，尽量不要放在前端。
怎么排查和收敛重定向
- 用 curl -I 或浏览器開發者工具查看完整跳轉鏈，记錄每一跳的狀態碼和 Location。
- 检查服務器日誌里的 3xx 請求，找出被频繁訪問的跳轉入口。
- 把内鏈直接指向最终 URL，避免站内連結先跳到舊地址再跳一次。
- Sitemap 只提交最终 URL，不要把重定向地址混進去。
- 合並服務器重定向規則，减少 HTTP 到 HTTPS、www 到非 www、舊目錄到新目錄之間的重复跳轉。
迁移期的過渡策略
迁移时保留舊 URL 並 301 到新 URL 是常见做法，但要注意：舊 URL 不要鏈式跳轉，最好一步到位；内鏈和 Sitemap 尽快切換到新地址；同时观察日誌中舊地址的抓取量是否逐步下降、新地址是否開始被稳定抓取。過渡期出現少量 3xx 很正常，長期大量存在才需要處理。
重定向是抓取路径上的一個环节，處理得好，蜘蛛能顺着清晰路径找到新内容；處理得乱，抓取效率就會在一次次跳轉中被消耗掉。