在蜘蛛池里，入口页的作用是把蜘蛛引过来，真正想让它抓的往往是另一个域名下的目标页。这两者之间怎么衔接，取决于你用什么方式做跳转。跳转方式不同，蜘蛛愿不愿意继续跟、能跟几层、会不会记住，差别不小。
蜘蛛眼里的跳转是一条链
爬虫抓到一个 URL 后，会解析页面里的信号，把新发现的地址放进待抓队列。跳转本质上也是“发现新地址”的一种方式，但它和普通外链不一样：外链是新增候选，跳转更像是在告诉爬虫“这个地址已经指向那边了”。多数爬虫对单条跳转链有次数限制，超过之后就会放弃这条路径，只保留最初入口页的记录。
四种跳转方式的差别
301 永久跳转
服务端返回，状态码明确，爬虫一般会跟随，并且倾向于把记录转移到新地址。它对蜘蛛池的问题在于“永久”这两个字——一旦目标页换了，旧链接的指向需要再改一次，频繁变动反而让爬虫困惑。
302 与 307 临时跳转
同样是服务端跳转，爬虫也会跟，但语义上是临时的。307 会保留原始请求方法，在 GET 场景下和 302 差别不大。这类方式适合目标页还在调整、或者需要按天轮换的情况。
meta refresh 与 JS 跳转
这两种都在 HTML 或脚本里完成。meta refresh 的等待时间设为 0 时，多数爬虫能识别并跟随；但如果页面本身返回 200、正文又很薄，爬虫可能先把入口页当成最终页收下，跳转只是顺带发现一个新链接。JS 跳转更弱，需要具备渲染能力的爬虫才会执行，放在定时器或滚动事件里的延迟跳转经常被直接忽略。想用 JS，尽量放在页面顶部同步执行。
常见的几个误区
- 跳转链太长。入口页到 A 再到 B 才到目标页，每多一层就多一次被丢弃的机会。
- 跳向完全无关的主题。爬虫会参考前后内容的相关性，跨度太大容易被当成低质跳转。
- 用 200 页面假装跳转。页面里写一句“正在跳转，请稍候”，实际上什么都没发生，对抓取没有帮助。
- 入口页与目标页同 IP、同模板。跳转做得再干净，整批页面长得一样，效果也会被摊薄。
实操上可以怎么选
- 需要长期稳定指向同一目标，用 301，并保证入口页本身可访问、状态码正常。
- 目标页经常换、属于临时引导，用 302，别用 301 反复改指向。
- 改不了服务端配置时用 meta refresh，等待时间设 0，页面里保留一段可读的文字说明。
- 只用 JS 跳转的场景，先确认目标爬虫具备渲染能力，否则等于没做。
- 不管用哪种，都要在服务器日志里确认目标页确实被抓过，而不是只看入口页的请求量。
跳转方式决定的是“蜘蛛能不能顺利走到下一步”，它不解决内容质量问题。指望换一种跳转就把抓取量做上去，通常不现实。另外要提醒一句：用跳转批量把爬虫引向不相关页面，容易被搜索引擎判定为作弊手段，动手之前先想清楚风险。