做蜘蛛池时，很多人会用跳转把蜘蛛从入口页引到目标页：有的是 301，有的是 302，还有的干脆用 meta refresh 或 JS。跳转本身不是问题，问题在于蜘蛛愿意跟着走多远，以及每一跳会不会被它直接放弃。
蜘蛛怎么处理不同类型的跳转
不同跳转方式，蜘蛛的对待方式差别很大，混着用往往会让日志变得难以解读。
301 与 308：永久跳转
蜘蛛通常会把 301 理解为地址变更，把原 URL 的抓取记录逐步迁移到新地址。链条清晰、目标稳定时，跟随意愿最高。308 语义相近，区别在于更严格地保留请求方法，实际使用较少。
302、303、307：临时跳转
临时跳转不会立刻替换原 URL，蜘蛛仍会反复回到起点。用 302 做长期分流，等于让蜘蛛每次都重走整条链路，既消耗抓取预算，也让访问日志里全是中间页记录。
meta refresh 与 JS 跳转
meta refresh 写在 head 里，部分蜘蛛会跟随，但延迟时间越长越容易被忽略。JS 跳转需要渲染能力，多数蜘蛛不会为入口页执行完整脚本，所以不要把关键路径押在 JS 上。
跳转链的长度：几跳算合适
一般建议控制在 1 到 2 跳。每多一跳，都会多一次请求和一次解析，任何一环超时或返回异常状态码，链路就断了。
- 1 跳：入口页直接 301 到落地页，最容易被完整跟随。
- 2 跳：入口页到中转页再到落地页，仍可接受，但要确保中转页状态码正常。
- 3 跳以上：蜘蛛放弃的概率明显上升，日志里常表现为只访问到中间某一跳。
除了跳数，响应时间也会累加。单跳 200ms 和单跳 2s，走三跳后的差距非常大，蜘蛛的等待耐心并不会因为链路设计而变长。
常见的几个坑
- 用跳转隐藏目标站：链条里夹着大量不相关域名，蜘蛛可能只抓入口就停。
- 跳转目标返回 404 或 5xx：前几跳再正常，最后一跳失败，整条链路对蜘蛛等于无效。
- 跳转目标被 robots 屏蔽：蜘蛛跟到一半发现目标不允许抓取，通常不会继续深入。
- 落地点反复切换：同一入口页今天跳 A、明天跳 B，蜘蛛难以判断哪个才是稳定地址。
- 跳转链里出现循环：A 跳 B、B 跳回 A，蜘蛛在几轮之后就会放弃。
实操建议
- 优先用 301，并尽量一跳到位，减少中转环节。
- 每一跳都返回正常的 2xx 或 3xx，不要在中途塞 404 或软 404。
- 落地页保持稳定，不要频繁更换目标域名或路径。
- 保留访问日志，观察蜘蛛是停在入口、中转还是落地页，再决定要不要缩短链路。
- 如果必须做多级分流，把层级压到两层以内，并保证每一层都能被独立访问到。
跳转链的设计目标不是让蜘蛛多走几步，而是让它用最少的请求到达一个稳定页面。
跳转只是入口与目标之间的通道，通道越短、越直、越稳定，蜘蛛走完的概率就越高。与其研究花哨的跳转方式，不如先把每一跳的状态码、响应时间和最终目标固定下来，再对照日志看蜘蛛实际走到了哪一段。