重定向不是一次請求，而是一段路径

蜘蛛拿到一個 URL 後，如果服務器返回 301 或 302，它會繼續請求 Location 指向的新地址。這個過程對用戶也许只是一次跳轉，對蜘蛛却意味着額外的一次或多次抓取。每多一跳，就多一次连接、等待和解析。

当重定向鏈只有一两跳且目标稳定时，通常不會造成大問题。但如果鏈達到四五跳，或者其中某一跳响應慢、返回異常，蜘蛛可能在中間停下，最终頁面就没有被完整發現。

301、302 與多跳鏈的常见問题

301：永久跳轉的传递依赖鏈路质量

301 表示目标地址已经固定。蜘蛛通常會把舊 URL 的抓取權重和發現能力逐步轉移到新 URL。但如果 301 指向的仍然是一個 302，或者再跳到第三個地址，传递過程就變得不确定。更稳妥的做法是让内鏈和 Sitemap 直接使用最终 URL。

302：临时跳轉不要長期挂着

302 适合短期活動或临时切換。長期使用 302 时，蜘蛛可能仍把舊地址当作主要入口，反复回来检查，而新地址的抓取频率未必能立刻提升。如果确實已经永久更換，應尽量用 301。

循环與互相跳轉

A 跳 B、B 跳 A，或者多個 URL 形成閉环，會让蜘蛛在有限步數内反复消耗請求。日誌里通常能看到同一個 IP 對几個 URL 的连續請求，最终没有落到任何可索引内容上。

缩短重定向鏈的實操方向

• 内鏈直接寫最终地址：導航、正文、面包屑、分頁都尽量不再经過跳轉。
• Sitemap 使用最终 URL：不要提交一個會 301 到別處的舊地址，除非你正在做改版過渡。
• 检查服務器與 CDN 規則：有些跳轉来自 http 到 https、www 到非 www 或结尾斜杠的统一規則，叠加後容易變長。
• 清理歷史跳轉：不再使用的活動頁、舊栏目頁，如果已经确定目标，保留一跳即可。
• 關注响應碼分布：日誌里如果 301/302 占比明顯上升，說明抓取可能花在了跳轉上。

從日誌判断重定向是否拖慢抓取

在服務器日誌中，可以篩選狀態碼為 301、302、307、308 的請求，观察同一蜘蛛 IP 在短時間内的连續訪問。如果它跟随一個 URL 後又請求另一個 URL，再請求第三個，而目标頁面的响應碼才是 200，這條路径就值得關注。

還需要区分正常跳轉和異常跳轉。例如 http 到 https 的统一跳轉是常規配置，但如果每個内鏈都先经過一次 301，再由 CDN 做一次 302，最後才到内容頁，抓取预算就被拉長了。把内鏈改成最终地址，通常能减少這部分损耗。

重定向本身不是错誤，错誤在于让蜘蛛反复走多余的弯路。能直连的入口，不要让它绕路。

改版或迁移时怎么安排

如果站点正在改版，舊 URL 到新 URL 的 301 是必要的過渡手段。此时可以分两步做：先保證舊地址只跳一次到新地址，再逐步把内鏈、導航和 Sitemap 更新為最终地址。等舊地址的訪問量下降後，再评估是否保留跳轉。

同时注意服務器稳定性。重定向鏈越長，中間任何一跳超时或返回 5xx，都會让蜘蛛提前結束。與其在蜘蛛池或外鏈上堆很多入口，不如先把已有入口的跳轉路径缩短，让每個入口都能稳定落到内容頁。

最後，定期检查站点地图和主要内鏈的落点，確認它們返回的是 200 而不是 3xx。對于蜘蛛来说，少一次跳轉，就多一次把時間花在真正内容上的机會。