入口頁把蜘蛛带到目标頁，中間那一步怎么跳，很多人随手就寫了個 JS 或者 302，结果蜘蛛走了一半就停了。跳轉方式不是纯技術细节，它决定蜘蛛能不能顺利走完這一跳，也决定這一跳传递了多少可用信息。
為什么跳轉方式會影响抓取
蜘蛛解析一個 URL 的過程大致是：請求、拿到响應、再决定下一步。响應里的狀態碼和跳轉方式，就是它判断“下一步去哪”的依據。不同方式给的信息量不一样，蜘蛛愿意跟進的意愿也不一样。
简單说，服務端跳轉（3xx）是明牌，蜘蛛一看就懂；客戶端跳轉（JS、meta refresh）需要額外渲染或解析，能不能走到下一步存在不确定性。
几種跳轉方式的實际差別
301 永久跳轉
最明确的一種。蜘蛛收到 301 後一般會直接跟進新地址，並把原地址的信号向目标传递。入口頁如果本身就是一次性的中轉頁，用 301 是最省事的做法。
注意別做鏈式 301，A 到 B 到 C 到 D 這種跳几次，每多一跳就多一次损耗，蜘蛛也可能中途放弃。尽量一步到位。
302 與 307 临时跳轉
302 表示“临时”，蜘蛛會跟進，但會保留原 URL 繼續观察。如果入口頁長期用 302 指向目标頁，蜘蛛可能反复訪問入口頁，既不传递信号也浪費抓取配額。307 與 302 類似，区別在于是否允许改變請求方法，做入口頁时基本可以按 302 理解。
如果入口頁就是常设的中轉，建议用 301；只有在确實临时調整时才用 302。
JS 跳轉
window.location 這類跳轉，需要蜘蛛执行 JS 才能發現。主流搜尋引擎有這個能力，但执行有预算，队列里排不上就不执行。JS 跳轉還可能被各種拦截規則挡住，稳定性不如服務端跳轉。
入口頁本身内容單薄、又只有一段 JS，蜘蛛很可能抓完 HTML 就結束，看不到目标頁。
meta refresh
寫在 HTML 头部里的 <meta http-equiv="refresh">，蜘蛛能识別，但優先級低于 3xx。延迟设成 0 秒和设成 5 秒，處理方式也可能不同。它比 JS 稳一些，但依然是“要解析 HTML 才能知道”的方式。
不跳轉，直接輸出内容
還有一種做法是入口頁直接呈現内容或連結列表，把選擇權交给蜘蛛自己点。這種方式對蜘蛛最友好，但要求入口頁本身有可抓取的内容，否則就是空頁。
怎么選：按场景决定
- 入口頁只做中轉：用 301，一步到位，別叠多层。
- 入口頁要長期保留：頁面里放可点击連結，让蜘蛛自己决定要不要走。
- 临时換目标：302 短時間用，事情結束就改回来。
- 只能用前端跳轉：優先 meta refresh，其次 JS，並且保證 HTML 里有可讀的兜底連結。
常见誤区
- 以為跳轉方式對结果没影响，随手寫 JS，實际差別在抓取成功率上很明顯。
- 用 302 当長期方案，蜘蛛把入口頁当终点反复抓。
- 跳轉鏈太長，中間某一跳返回 404 或超时，整條鏈断掉。
- 前端跳轉的同时，目标地址又落在被拦截的路径下，蜘蛛看得见也走不進去。
跳轉方式只是把蜘蛛送到目标頁，目标頁本身能不能留住蜘蛛，是另一件事。入口铺得再多，目标頁接不住，效果一样有限。
上线前的自检清單
- 用 curl -I 看入口頁返回的狀態碼，確認是 301 還是 302。
- 检查是否存在鏈式跳轉，能合並的合並。
- 如果用了前端跳轉，關掉 JS 看頁面還剩什么内容。
- 確認跳轉後的目标地址返回 200，且不是另一個跳轉。
- 隔几天翻一次抓取日誌，看蜘蛛是否真的走到了目标頁。
跳轉這一环不需要复杂，但需要一致。把規則定下来，所有入口頁按同一套方式處理，排查問题时也更容易定位。