投放URL的时候，很多人只盯着入口URL能不能被蜘蛛访问，却忽略了从入口到最终页面之间还藏着几层跳转。链路一长，抓取结果往往和预期对不上：日志里能看到蜘蛛来过，但目标页始终没有抓取记录。
搜索蜘蛛确实会跟随跳转，但耐心有限
主流搜索引擎的蜘蛛都支持跟随HTTP 3xx跳转，也就是看到301或302后会继续请求新地址。所以从原理上说，投放一个跳转URL并不是完全无效的。
但这个跟随不是无限的。Google官方文档建议跳转链尽量控制在5跳以内，百度没有给出明确数字，不过在真实抓取中，链路越长，中间任何一跳出现超时、5xx或者解析异常，整条链路就可能直接断掉，蜘蛛会放弃继续往下走。
几种常见跳转场景的实际表现
一跳301直达最终页
这是最干净的情况。蜘蛛请求入口URL，拿到301和Location，再请求最终页，一次跳转就结束了。信号传递相对明确，最终页被发现的概率也最高。
多跳302链
302是临时跳转，蜘蛛一般也会继续跟，但每多一跳就多一次请求和等待。如果链路里夹着统计跳转、短链跳转、CDN节点跳转，蜘蛛需要连续请求好几个地址才能到终点，抓取效率会被明显拉低。更麻烦的是，某一跳如果返回了带参数的中间页，蜘蛛可能把中间页当成终点记录下来。
meta refresh 和 JS 跳转
HTML里的meta refresh通常能被识别，前提是延迟时间不要太长，几秒以内比较稳妥。而JS跳转（比如window.location赋值）依赖页面渲染执行，如果页面本身就渲染不完整，跳转可能根本不会发生，蜘蛛自然也就看不到最终页。
跳到登录页、首页兜底或错误页
有些站点的跳转规则配置有问题，未登录用户会被重定向到登录页，或者任何异常都兜底跳回首页。蜘蛛对这类页面的处理结果就是：它到了终点，但终点不是你想让它看的内容，最终页等于没被发现。
投放前可以自己做的检查
- 用curl -IL或者浏览器的网络面板，完整看一遍跳转链，数清楚中间有几跳、每一跳的状态码是什么。
- 确认最终页返回200，并且返回的HTML里能看到正文，而不是一个空壳框架。
- 如果条件允许，直接把最终可访问的URL作为投放目标，跳过中间层，这样最省事。
- 投放后翻服务器日志，重点看蜘蛛有没有请求最终页那个路径，而不是只看到入口URL被访问。
- 检查最终页有没有被noindex或者robots.txt挡住，这类问题会让前面的跳转全部白做。
跳转链断掉，通常是这几个原因
- 中间某一跳返回5xx或者响应超时，蜘蛛到不了下一站。
- 跳转规则按UA、地区或登录状态分流，蜘蛛拿到的分支指向了另一个地址。
- 跳转逻辑写成了循环，A跳B、B跳回A。
- 终点页需要登录或人机验证，蜘蛛拿不到内容。
跳转本身不是问题，问题在于链路太长，或者终点不是你想展示的页面。把蜘蛛直接引到最终URL，通常比在中间堆几层跳转更稳妥。
还有一点需要说明：跳转顺利、蜘蛛也访问了最终页，并不等于这个URL一定会被收录。发现只是第一步，后面的内容质量、站点整体状态、抓取配额都会影响处理结果，不要把跳转当成收录的保证。