先厘清：发现链接和抓取链接是两件事
搜索蜘蛛在入口页看到一个链接，只是把链接里的 URL 放进待抓取队列，并不代表这个 URL 一定被抓取，也不代表最终地址会被索引。真正请求时，蜘蛛会先访问链接里写的那个地址。如果它返回 302，蜘蛛会继续跟到 Location 指向的新地址。
所以答案通常是：发现阶段记录的是跳转前的 URL，抓取阶段会跟到跳转后的最终地址。但“跟过去”不等于“一定收录”，中间还有状态码、robots、内容质量等因素。
302 跳转时，搜索蜘蛛一般会怎么走
- 请求入口页链接里的 URL；
- 收到 302 和 Location 响应头；
- 对 Location 指向的地址发起新请求；
- 如果最终地址返回 200，才可能解析内容并进入索引流程；
- 如果最终地址也跳转，会继续跟，但跳转链过长时可能放弃或降低优先级。
这里要注意，302 是临时跳转。蜘蛛不会像对待 301 那样把两个地址做长期合并理解，它更倾向于每次重新判断。如果你希望最终地址被稳定抓取，长期使用 302 不是好选择。
哪些情况会让目标 URL 在发现后“跟丢”
并不是所有 302 都能顺利跟到终点。常见问题有：
- 跳转链太长：入口页链接跳到 A，A 跳到 B，B 再跳到 C。蜘蛛可能只跟两三跳，后面的 URL 发现概率下降。
- 跨域跳转：如果最终地址在另一个域名，蜘蛛会按新域名重新判断可抓取性，入口页的“信任”不会直接传递。
- 最终地址被 robots.txt 禁止：即使跳转成功，蜘蛛看到禁止规则后也不会抓取内容。
- 最终地址需要登录或验证：返回登录页、验证码或 403，蜘蛛拿不到有效内容。
- 跳转依赖 JavaScript 或 meta refresh：服务器端 302 通常好处理，前端跳转不一定被执行，容易只停在跳转前页面。
- 返回 302 后立刻 404：跳转目标不存在，蜘蛛会记录失败，后续再发现同一链接时可能降低尝试频率。
怎么判断搜索蜘蛛是停在跳转前还是跟到了最终地址
最直接的方法是看服务器日志。你可以按时间顺序找搜索蜘蛛的访问记录：
- 先看入口页的访问记录，确认它抓取了入口页；
- 再看跳转前 URL 是否出现请求，状态码是不是 302；
- 继续找同一时间段内最终地址的请求记录；
- 如果最终地址有请求且返回 200，说明蜘蛛至少跟到了这一步；
- 如果只有跳转前 URL 的请求，没有最终地址请求，说明跳转没有被处理或中途停止。
日志里还要留意请求来源。有些请求可能是用户浏览器或其他爬虫，不一定是搜索蜘蛛。结合 IP 反查和 User-Agent 一起判断更稳妥。
蜘蛛池入口页里，怎么处理 302 更合适
如果你在运营蜘蛛池入口页，目标 URL 又必须经过跳转，可以考虑这些做法：
- 优先用 301：当跳转是永久性的，301 更利于地址关系稳定，减少每次重新判断。
- 缩短跳转链：尽量让入口页链接直接指向最终地址，最多保留一跳。
- 入口页直接放最终地址：如果最终地址可公开访问，直接写最终 URL，比中间跳转更省事。
- 检查最终地址可抓取性：确认 robots.txt、noindex、登录墙、WAF 不会拦住蜘蛛。
- 保持入口页链接稳定：不要频繁更换跳转目标，否则蜘蛛难以判断哪个地址是主版本。
- 用 sitemap 和主动提交辅助：跳转地址不是不能用，但不要只依赖它发现 URL。
302 本身不是“错误”，它只是临时跳转。真正影响 URL 发现的是跳转链长度、最终地址状态和可抓取性。把这几项控制好，蜘蛛跟到最终地址的概率会高很多。
常见误区
有人以为入口页写了跳转前 URL，搜索蜘蛛发现的就是最终 URL。实际上，发现记录的是链接本身，抓取和索引才会跟着跳转走。也有人以为只要 302 成功，最终地址就一定会被收录。收录还取决于内容质量、重复度、站点整体情况和抓取预算。
如果最终地址长期不收录，先查日志确认蜘蛛是否真的请求过，再查最终地址的状态码和 robots 规则，最后才考虑内容层面的问题。顺序反过来，容易白忙。