蜘蛛池入口页常见的做法有两种：一种是放一堆链接让蜘蛛顺着爬，另一种是直接跳转到目标URL。后者看起来更省事，但跳转方式不同，搜索蜘蛛的处理结果差别不小。有人用 301，有人用 302，有人图省事挂一段 JS 或 meta refresh，最后发现入口页有访问、目标URL却毫无动静。这篇把几种跳转方式拆开讲清楚。
搜索蜘蛛对跳转的基本处理逻辑
蜘蛛拿到入口页的响应后，会先看 HTTP 状态码，再决定要不要跟到新地址。大致规律如下：
- 301 永久跳转：会被当作地址永久变更处理，抓取和信号一般会跟着迁到新地址，最终以目标URL为落点。用于 URL 发现，这是最干净的一种。
- 302 / 307 临时跳转：被理解为“暂时换个地方”，原地址仍可能保留在索引里，目标URL能不能被发现和抓取，更多取决于它自己能否独立访问。307 与 302 在处理上接近，只是对请求方法的限制更严格。
- meta refresh：属于页面内声明，蜘蛛要先解析 HTML 才能看到。0 秒刷新和 3 秒刷新的处理并不相同，延迟刷新可能被忽略。
- JS 跳转（如 location.href）：必须进入渲染阶段才会执行。蜘蛛不一定会渲染，或者在渲染队列里排很久，URL 发现的时效性最差。
跳转链长度才是被忽略的主因
比跳转方式更容易出问题的是链路太长。入口页 302 到中间页，中间页再 meta refresh 到另一个域名，最后 301 落到目标URL——三段以上的链路，蜘蛛经常在中途就停了。合理的做法是：一个入口页只做一次跳转，直接落到最终地址，且最终地址返回 200。
还有几种情况会让跟进直接断掉：跳转目标返回 404 或 410、跳转形成环（A→B→A）、跳转目标需要登录或弹验证页、跳转目标自身又 302 到别处。这些在日志里通常表现为“入口页有访问，目标URL一条记录都没有”，排查时先看链路本身，而不是继续加链接。
做 URL 发现时的具体建议
- 入口页跳转统一用 301，只跳一次，直接指向最终可访问的 URL。
- 不要在 301 之后再叠一层 JS 跳转，双重跳转只会增加丢失概率。
- meta refresh 尽量不用；非用不可时把刷新时间设为 0 秒，并确认跳转目标返回 200。
- 跳转目标与入口页的可访问性保持一致：入口页能抓，目标页也要能抓，不要出现一个能抓、一个被 WAF 拦的情况。
- 批量测试前先确认目标URL不是长期停在“已发现”状态的页面，避免把抓取预算耗在低优先页面上。
怎么验证跳转有没有被真的跟进
只看入口页日志是不够的，那只能说明蜘蛛来过了。至少要看三个地方：
- 入口页响应码日志：确认返回的是 301 还是 302，中间有没有夹着 5xx。
- 目标URL访问日志：看时间戳是否紧跟入口页之后几秒到几分钟内，UA 是否与入口页一致。
- 命令行复核：用 curl -I 或带 -L 的请求查看完整跳转链，确认每一跳的状态码和最终落点。
如果入口页有访问、目标URL完全没有记录，优先怀疑跳转链、目标URL的状态码，以及目标URL所在服务器的防护策略这三处。
几个常见误区
跳转只是把地址告诉蜘蛛的一种方式，它不保证目标URL一定被收录。发现、抓取、收录是三件事，不能混为一谈。
- 以为 302 也能传递全部信号：实际处理通常更保守，做长期发现用途不如 301 稳。
- 以为 JS 跳转和 301 等效：渲染与否、渲染时机都不确定，时效性差很多。
- 以为跳转路径越多覆盖面越广：链路越长，中途断掉的概率越高。
把跳转做简单，让入口页到目标URL只有一跳，是这类入口页最容易落地、也最容易被忽略的一条。