為什么跳轉方式值得單獨说清楚
入口頁本身通常不是最终想让蜘蛛看到的内容，它更像一個中轉站：蜘蛛爬到這里，需要顺着一次跳轉走到目标頁。這次跳轉發生在服務器层還是 HTML 层、是 301 還是 JS，直接决定了蜘蛛會不會跟、跟到哪一步、以及入口頁自己會不會被留下索引。
很多入口頁铺得没問题，URL 也提交了，日誌里能看到抓取记錄，但目标頁始终没有動静，問题往往就出在這一跳上。
四種跳轉方式在蜘蛛眼里的差別
301 永久重定向
服務器直接返回狀態碼和 Location 头，不依赖渲染，也不依赖頁面内容。蜘蛛拿到的第一條响應就明确告诉它：舊地址永久作废，請去新地址。這是最稳的一種，信号集中、路径最短。
需要注意的是別把 301 做成鏈條。A 跳 B、B 又跳 C，每多一跳，蜘蛛就要多等待一次响應，中途放弃的概率上升，传递過去的信号也會被折损。尽量一跳到位。
302 临时重定向
语义是临时。爬虫一般也會跟随，但它倾向于保留原 URL，認為原来的地址還會回来。長期用 302 做入口跳轉，可能出現入口頁被收錄、目标頁反而没被認定為最终地址的情况。
如果入口頁本来就是消耗品，被收錄也無所谓，那 302 用起来没什么心理负担；如果希望目标頁被当成正主，長期 302 就不是好選擇。反過来，入口頁需要轮換目标頁时，302 的临时语义反而更贴合實际。
meta refresh
寫在 HTML 的 head 里，服務器返回的是 200，蜘蛛先拿到的是入口頁本身的 HTML，然後才需要解析這行声明才能發現下一站。有的爬虫會跟随，有的只把它当作普通頁面，延迟设為 0 也不保證被识別成重定向。
它的價值在于不依赖服務器配置，静態托管、CDN 規則改不動的场景下能顶上，但结果带着不确定性，适合当兜底而不是首選。
JavaScript 跳轉
通過脚本修改地址，需要执行 JS 才會發生。爬虫的渲染能力有限，很多情况下根本不执行，或者执行了也已经過了它判断内容的时机。结果是入口頁被抓了，目标頁一次没到。
如果确實只能用 JS，至少在不能被脚本覆盖的区域放一條普通的可点連結，让不执行 JS 的抓取也能有路可走。同时注意入口頁 HTML 里別只剩占位内容，容易被当成空頁處理。
怎么選：按目的倒推
- 目标頁是最终落点、入口頁不打算被收錄：用 301，一跳到位。
- 目标頁還在調整、可能随时更換：可以用 302，接受入口頁被收錄的可能。
- 改不了服務器响應头，也不跑 JS：用 meta refresh，接受不确定性。
- 只想統計入口頁有没有被訪問：用服務器日誌或埋点，不必為此加跳轉。
几個反复出現的坑
- 大量入口頁 301 到同一個目标頁，蜘蛛跟几次之後就不再跟了。
- 跳轉鏈過長，或者两個地址互相跳形成循环。
- 跳轉之後落到 404、403，或者需要登入才能看的頁面。
- 目标 URL 每次带上随机參數，蜘蛛每次看到的都是新地址。
- 入口頁内容和目标頁主题完全不搭，跳過去也留不住。
上线前可以做的自查
- 用命令行工具只看响應头，確認返回的真實狀態碼，而不是浏览器渲染後的结果。
- 數一下跳轉鏈長度，超過一跳就考虑合並。
- 用不执行 JS 的方式取一次入口頁，看能不能顺着頁面里的連結走到目标頁。
- 翻一段時間日誌，看入口頁的返回碼分布，是否出現大量 302 或 200 而没有後續請求。
- 確認目标頁可正常訪問，不是错誤頁，也没有訪問限制。
跳轉不是越多越自然。一次干净、方向明确的 301，通常比几层叠起来的临时跳轉更容易被蜘蛛理解。