在蜘蛛池的入口頁上，跳轉几乎是绕不開的：入口頁本身可能不承载内容，只负责把蜘蛛送到下一個 URL。但同样是“跳轉”，服務端 301、302 和前端 meta refresh、JS 跳轉，在蜘蛛眼里是几件不同的事。搞不清楚這一点，就容易出現“日誌里蜘蛛来了不少，目标頁却始终没動静”的情况。
為什么跳轉鏈值得單獨看
蜘蛛處理頁面的顺序是：先拿到响應，再决定下一步。跳轉意味着一次請求換一次新請求，每一次都要重新走 DNS、连接、响應流程。鏈條越長，中途失敗的概率越高，能传递的信号也越弱。對蜘蛛池来说，入口頁的價值就是“被發現”，所以跳轉的设計目标應该是短、稳、可预期。
四種常见跳轉，蜘蛛的處理不一样
301 / 308：永久跳轉
服務端直接返回 3xx 和 Location 头，蜘蛛會跟到新地址，並且倾向于把新地址当作原地址的替代。對入口頁来说這是最干脆的方式，但要注意：如果多個入口頁都 301 到同一個目标，目标頁承担的入口會集中到一處，長期看不利于分散。
302 / 307：临时跳轉
临时跳轉同样是服務端行為，蜘蛛一般也會跟随，但不會立刻改寫原地址的归属。優点是灵活，可以随时改回；缺点是如果長期 302，蜘蛛可能反复回来確認，造成入口頁被反复抓取却迟迟不前進。
meta refresh：前端声明跳轉
寫在 HTML 里的 meta refresh，蜘蛛需要先完整解析頁面才能看到。如果延迟時間设成 0～1 秒，行為接近服務端跳轉；如果设成几十秒，很多抓取會在這里停下，只把入口頁当成一個普通頁面處理。
JS 跳轉：需要渲染才看得见
用 window.location 或前端路由做的跳轉，對不执行 JS 的抓取来说等于不存在。部分搜尋引擎會做渲染，但渲染资源有限，通常只覆盖一部分頁面。把關键跳轉放在 JS 里，等于把發現權完全交给對方。
跳轉鏈過長，常见的問题
- 鏈條断裂：中間某一跳返回 4xx/5xx，蜘蛛到這里就停了，後面的目标頁完全没被触達。
- 循环跳轉：A→B→A，多數爬虫會识別並放弃，日誌里表現為同一個 URL 被反复請求。
- 跨域跳轉：跳到另一個域名，蜘蛛需要重新评估，跟不跟、跟多深都不确定。
- 參數污染：每一跳都带一串跟踪參數，最终落地頁變成一大堆相似 URL，浪費抓取配額。
- 狀態碼混乱：入口頁返回 200 但内容為空、靠 JS 跳走，蜘蛛可能把空頁当成最终结果。
一份可执行的排查清單
- 用命令行工具或抓取工具跟随重定向，看完整鏈條：一共几跳、每跳的狀態碼和 Location 是什么。
- 检查鏈條里有没有 4xx、5xx、循环，以及是否中途跳到無關域名。
- 確認入口頁的跳轉方式：優先用服務端 3xx；meta refresh 的延迟尽量短；能用服務端就不要用 JS。
- 確認目标頁确實可達、返回正常内容，別只驗證“跳過去了”這一步。
- 對照站点日誌，看蜘蛛到底停在哪一跳，是入口、中間层還是目标頁。
- 跳轉規則改動後，留一段時間观察，再决定是否繼續調整，避免频繁變更。
使用建议
入口頁的跳轉越简單越好：一跳、服務端、目标明确。把精力放在目标頁本身是否值得抓、是否稳定可達上，而不是在跳轉技巧上不断叠层數。
另外提醒一点：跳轉只是發現路径，並不决定目标頁最终會不會被索引。目标頁有内容、能稳定訪問、结构清晰，才是後續一切的前提。跳轉做對了，只是把“可能被發現”這一步走完。