在蜘蛛池里，入口页经常不直接写目标 URL，而是先跳一次：短链、统计跳转、统一域名、路由参数，甚至两三跳之后才落到真正要被抓取的页面。这条链一旦拉长，搜索蜘蛛还能不能跟到最后，就成了常见疑问。
搜索蜘蛛对跳转的基本处理
会跟，但有代价。跳转本质上是让抓取程序重新发起一次请求，每多一跳，就多一次 DNS 解析、连接建立、等待响应和内容解析，也多一次被限流、超时、返回异常的机会。搜索引擎不会为一条跳转链无限排队，跟进有限的跳数之后就会放弃这条路径。
- 301 和 302 通常都会被跟随，但两者对最终 URL 的规范化处理不同；
- meta refresh、JavaScript 跳转、刷新响应头，处理方式各不相同，可靠性低于服务端 3xx；
- 链中间任意一跳返回 4xx、5xx、被 robots 拦截或超时，后面的目标 URL 基本就发现不了。
“第几跳”这个数字别当硬标准
业内常被引用的是 5 跳左右这个量级，但它来自搜索引擎多年的非正式说明，不同爬虫、不同时间点都可能不一样，官方也未必持续更新。真正值得关注的不是卡在哪一跳，而是这条链是否可控、是否稳定、每一跳是否都能正常返回。
把跳转链压在 1~2 跳，并不是为了迎合某个数字，而是减少中间环节的不确定性：少一次超时、少一次被 WAF 拦截、少一次抓取预算的浪费。
排查顺序：从入口页往后逐跳走
- 用不带 Cookie、UA 标记为搜索蜘蛛的抓取工具，按跳转顺序逐跳请求，记录每跳的状态码、Location 和响应时间；
- 确认每一跳的 Location 是否指向新域名、是否带协议、是否出现 A→B→A 这类循环；
- 检查中间页是否被 robots.txt 屏蔽、是否返回 noindex、是否被 CDN 或 WAF 拦下；
- 确认最终 URL 是否稳定：同一入口多次请求，是落到同一地址，还是每次带随机参数变成“新 URL”；
- 对照抓取日志，看搜索蜘蛛实际请求到第几跳就停了，与你的预期差在哪里。
常见的几个坑
链路里混了 JavaScript 跳转
服务端 3xx 是抓取路径上最可靠的一环，前端 JS 跳转需要执行脚本才会被发现，是否处理、何时处理都不由你决定。一段链路里同时存在 3xx 和 JS 跳转时，优先把 JS 那段改成服务端跳转。
跳转每次都带会话参数
每次请求都生成不同的 sessionid 或跟踪参数，最终落到的 URL 看起来每次都不同，搜索蜘蛛容易把它当成一批新 URL 反复抓取，既浪费配额，也很难收敛到稳定地址。
入口页与目标跨了域名或子域
跨域跳转不是不行，但要确认目标域名没有被 robots 屏蔽、证书有效、不会出现 http→https→http 的来回折腾。多次协议切换会明显增加失败概率。
可以落地的做法
- 入口页直接写最终 URL，跳转只作兜底，不做常规通路；
- 必须跳转时压到 1 跳、最多 2 跳，固定使用其中一种状态码，不要混用；
- 对整条链路做定期巡检，把 4xx、5xx、超时当作链路故障处理，而不是“偶尔失败”；
- 最终 URL 保持稳定、可重复访问，避免每次生成新的参数组合。
跳转层数不是需要死守的指标，它更像一个健康度信号：链路越短、越稳定、越可复现，搜索蜘蛛顺着入口页发现并抓取目标 URL 的概率就越高，剩下的事情交给正常的站点运营和内容质量。