網站改版、換域名、調栏目、上 HTTPS，都會产生跳轉。偶尔一次 3xx 很正常，但如果蜘蛛每抓一個頁面都要连跳两三次，甚至跳進循环，抓取效率就會被慢慢吃掉。跳轉鏈自查不是追求零跳轉，而是让每一次跳轉都有明确目的，並且尽快到達最终内容。
先分清跳轉類型，再谈鏈路
不同 3xx 狀態碼的含义不一样，用错會带来額外麻烦。
- 301 與 308：永久跳轉，适合域名迁移、URL 規則調整。308 會保留請求方法，普通内容站用 301 更常见。
- 302 與 307：临时跳轉，适合活動頁、短期限时調整。307 同样保留請求方法。临时跳轉不要長期挂着，活動結束後要么恢复，要么改成 301。
- meta refresh 與 JS 跳轉：属于頁面内跳轉，蜘蛛要先拿到一個頁面再执行跳轉。能用服務器端 3xx 就別用前端跳轉。
跳轉鏈為什么让蜘蛛难受
蜘蛛拿到 3xx 後，需要记錄目标地址、重新排队、再次發起請求。鏈路越長，消耗的抓取预算越多，還可能在中途丢失參數、遇到超时，或者因為跳轉目标被 robots.txt 拦住而白跑一趟。
如果進入正文前要经過三次以上跳轉，蜘蛛分给内容解析和索引的時間就明顯變少。
自查清單：從入口到落地頁走一遍
- 协议與域名统一：http 到 https、带 www 與不带 www，只保留一個主版本，其余用 301 指向主版本，避免互相跳。
- 结尾斜杠统一：目錄頁带斜杠、文件頁不带斜杠，全站保持一致，別让 /a 和 /a/ 来回跳。
- 大小寫统一：URL 尽量用小寫，避免因為大小寫差异产生額外跳轉。
- 舊連結迁移：栏目改名、文章換路径後，舊地址 301 到最相關的新地址，不要统一甩到首頁。
- 跳轉目标可抓取：目标頁不要是登入頁、404 頁或被 robots.txt 屏蔽的地址。
- 循环與長鏈：A 跳 B、B 跳 C、C 又跳 A，或者一條鏈超過三层，都要尽快合並成一步到位。
- 參數處理：跳轉时保留必要的查询參數，但別把 utm、session 等跟踪參數一起带進最终 URL，避免生成重复地址。
- 跳轉與 canonical 一致：如果頁面用 301 指向新地址，canonical 也應指向同一地址，別互相矛盾。
容易忽略的几處细节
登入跳轉、語言地区跳轉、CDN 节点回源跳轉，都可能在蜘蛛视角里形成額外鏈路。比如未登入用戶訪問會員内容被 302 到登入頁，蜘蛛反复抓取只會一直碰壁；多語言站点根據 IP 或 Accept-Language 做 302，也會让不同节点看到不同结果。更稳妥的做法是给蜘蛛稳定入口，把語言版本做成可直達的 URL。
另外，HSTS 预加载、HTTP 到 HTTPS 的跳轉、末尾斜杠跳轉叠加在一起，很容易形成两到三次连續跳轉。上线前最好用命令行或抓取工具完整走一遍。
怎么發現跳轉鏈問题
可以用 curl 查看跳轉路径，观察 Location 响應头和最终狀態碼；也可以從服務器訪問日誌里篩選 3xx 记錄，按 URL 統計跳轉次數。随机抽查栏目頁、文章頁、图片和 CSS/JS 资源，尤其是改版後保留下来的舊地址。如果發現某個 URL 長期高频出現 3xx，就值得單獨處理。
處理原則
能直達就別跳，能一次跳就別两次，永久迁移用 301，临时調整用 302 並设定收尾時間。跳轉目标要稳定、可抓取、與 canonical 一致。定期把跳轉鏈清一遍，蜘蛛才能把耐心留给真正的内容。