重定向不是问题，链式重定向才是
蜘蛛请求一个 URL，服务器返回 301 或 302，并在 Location 头里给出新地址。蜘蛛不会直接拿到页面内容，而是需要再发起一次请求。每一次跳转，都相当于在抓取队列里多走了一步。对于单个页面来说，多一次请求也许不算什么；但当成千上万的 URL 都经过两三次跳转，抓取资源就会在中间环节被消耗掉。
更关键的是，URL 发现和抓取是两条线。内链、Sitemap 让蜘蛛知道某个地址存在，但真正抓到内容，还要看这个地址能不能在合理步数内到达最终页面。如果入口 URL 总是跳来跳去，最终页面的复查节奏也会被拖慢。
哪些跳转方式容易拖慢抓取路径
- 多级链式跳转：A 跳 B，B 跳 C，C 才到最终页。每多一级，就多一次请求，蜘蛛可能在中途降低优先级。
- 长期使用 302：302 表示临时跳转，蜘蛛会保留原 URL 并反复回来确认。如果站点已经永久迁移，应该用 301 明确告知。
- 循环或死循环跳转：A 跳 B，B 跳回 A，蜘蛛会在这组地址上反复试探，最终可能放弃。
- 跳转到无关页面：比如所有旧链接都 302 到首页，蜘蛛拿到的不是原内容，URL 发现的意义就被削弱了。
- 协议、域名、端口多重跳转：http 跳 https，再跳 www，再跳带斜杠版本，看似规范，实际上让抓取路径变长。
- 跳转目标本身不可抓：最终地址返回 404、软 404 或需要登录，前面的跳转就白费了。
跳转深度对 URL 发现的实际影响
从蜘蛛视角看，一个 URL 从被发现到被真正抓取，中间要经过排队、DNS、连接、请求、响应等环节。重定向会插入额外的请求轮次。跳转深度越深，单次抓取的成本越高，蜘蛛在同等抓取额度下能覆盖的 URL 就越少。
这不意味着所有重定向都必须消灭。站点改版、HTTPS 迁移、域名合并时，301 是必要工具。问题在于链式跳转和长期临时跳转。理想情况是：内链、Sitemap、canonical 都直接指向最终 URL，旧地址只保留一条到最终地址的 301。
重定向本身不是错误，但链式重定向是抓取路径上的摩擦。能一步到位，就不要让蜘蛛走三步。
把抓取路径收口到最终地址
- 统一主域和协议：确定一个首选版本，其他版本用 301 一次性跳过去，不要层层嵌套。
- 站内链接直接写最终 URL：导航、面包屑、正文内链、分页链接都指向最终地址，避免让蜘蛛从旧地址进入。
- Sitemap 提交最终 URL：Sitemap 里出现的应该是可抓取、可返回 200 的地址，不要放跳转地址。
- canonical 与最终 URL 一致：如果页面有多个入口，用 canonical 指明主版本，同时确保主版本不依赖跳转。
- 用日志检查 3xx：在抓取日志里筛出 301、302、307、308，观察哪些 URL 经常以跳转状态被请求。如果某个旧地址频繁出现，说明还有内链或外链在指向它。
- 定期清理重定向规则：迁移完成后，检查是否留下多级规则，能合并的合并，能删除的删除。
观察与调整的节奏
重定向问题不会立刻让抓取量暴跌，但会在 URL 发现和复查上形成慢性损耗。可以每月看一次抓取日志里的状态码分布，重点关注 3xx 占比和跳转链长度。如果发现大量 URL 经过两跳以上才到最终页，优先从模板和内链入手，把入口改到最终地址。
服务器稳定性、Sitemap 质量和内链结构决定蜘蛛能不能顺利找到 URL，而重定向链决定它找到之后要走多远。把跳转路径缩短，本质上是把抓取额度留给更多有价值的页面。