做蜘蛛池时，很多人會用跳轉把蜘蛛從入口頁引到目标頁：有的是 301，有的是 302，還有的干脆用 meta refresh 或 JS。跳轉本身不是問题，問题在于蜘蛛愿意跟着走多遠，以及每一跳會不會被它直接放弃。
蜘蛛怎么處理不同類型的跳轉
不同跳轉方式，蜘蛛的對待方式差別很大，混着用往往會让日誌變得难以解讀。
301 與 308：永久跳轉
蜘蛛通常會把 301 理解為地址變更，把原 URL 的抓取记錄逐步迁移到新地址。鏈條清晰、目标稳定时，跟随意愿最高。308 语义相近，区別在于更嚴格地保留請求方法，實际使用較少。
302、303、307：临时跳轉
临时跳轉不會立刻替換原 URL，蜘蛛仍會反复回到起点。用 302 做長期分流，等于让蜘蛛每次都重走整條鏈路，既消耗抓取预算，也让訪問日誌里全是中間頁记錄。
meta refresh 與 JS 跳轉
meta refresh 寫在 head 里，部分蜘蛛會跟随，但延迟時間越長越容易被忽略。JS 跳轉需要渲染能力，多數蜘蛛不會為入口頁执行完整脚本，所以不要把關键路径押在 JS 上。
跳轉鏈的長度：几跳算合适
一般建议控制在 1 到 2 跳。每多一跳，都會多一次請求和一次解析，任何一环超时或返回異常狀態碼，鏈路就断了。
- 1 跳：入口頁直接 301 到落地頁，最容易被完整跟随。
- 2 跳：入口頁到中轉頁再到落地頁，仍可接受，但要确保中轉頁狀態碼正常。
- 3 跳以上：蜘蛛放弃的概率明顯上升，日誌里常表現為只訪問到中間某一跳。
除了跳數，响應時間也會累加。單跳 200ms 和單跳 2s，走三跳後的差距非常大，蜘蛛的等待耐心並不會因為鏈路设計而變長。
常见的几個坑
- 用跳轉隐藏目标站：鏈條里夹着大量不相關域名，蜘蛛可能只抓入口就停。
- 跳轉目标返回 404 或 5xx：前几跳再正常，最後一跳失敗，整條鏈路對蜘蛛等于無效。
- 跳轉目标被 robots 屏蔽：蜘蛛跟到一半發現目标不允许抓取，通常不會繼續深入。
- 落地点反复切換：同一入口頁今天跳 A、明天跳 B，蜘蛛难以判断哪個才是稳定地址。
- 跳轉鏈里出現循环：A 跳 B、B 跳回 A，蜘蛛在几轮之後就會放弃。
實操建议
- 優先用 301，並尽量一跳到位，减少中轉环节。
- 每一跳都返回正常的 2xx 或 3xx，不要在中途塞 404 或软 404。
- 落地頁保持稳定，不要频繁更換目标域名或路径。
- 保留訪問日誌，观察蜘蛛是停在入口、中轉還是落地頁，再决定要不要缩短鏈路。
- 如果必须做多級分流，把层級压到两层以内，並保證每一层都能被獨立訪問到。
跳轉鏈的设計目标不是让蜘蛛多走几步，而是让它用最少的請求到達一個稳定頁面。
跳轉只是入口與目标之間的通道，通道越短、越直、越稳定，蜘蛛走完的概率就越高。與其研究花哨的跳轉方式，不如先把每一跳的狀態碼、响應時間和最终目标固定下来，再對照日誌看蜘蛛實际走到了哪一段。