在整理投放清单时，经常遇到一种情况：要推的URL打开后会跳到另一个地址。有人直接把原始地址填进蜘蛛池，有人则手动换成跳转后的最终地址。两种做法都能让搜索蜘蛛看到内容，但对URL发现和后续抓取的影响并不一样。
搜索蜘蛛遇到301时怎么处理
搜索蜘蛛请求原始URL时，服务器返回301，蜘蛛会读取响应头里的Location，再向新地址发起请求。最终内容如果正常返回200，通常会把权重和索引信号归到最终地址上。原始地址会逐渐从索引里退出，但这个过程不是瞬间完成的。
从URL发现的角度看，投放原始地址相当于让蜘蛛多走一步。如果跳转链很短、目标明确，蜘蛛能够顺利跟进；如果跳转层数多，或者中途经过无关域名，抓取预算会被消耗在中间环节，目标页面的发现效率反而下降。
投放时该填原始地址还是最终地址
没有绝对答案，主要看跳转的性质和你希望蜘蛛发现什么。
- 站点自己控制的永久跳转，比如http到https、不带www到带www、旧栏目迁移到新栏目，建议直接投最终地址。这样蜘蛛一次请求就能拿到内容，减少中间消耗，也避免原始地址和最终地址同时出现在清单里造成重复。
- 原始地址仍有外部链接或流量，比如做过外链、投过广告、有用户收藏，可以保留原始地址的投放，让蜘蛛通过跳转关系确认新地址。但最好同时把最终地址也加入清单，不要只依赖跳转。
- 短期活动页或临时跳转，如果跳转是302且随时可能取消，不建议大量投放原始地址。蜘蛛跟进后可能只看到临时状态，过几天地址失效，反而产生无效抓取。
批量投放时更稳妥的做法是：以最终返回200、内容稳定、canonical指向自身的地址为准。原始地址只在有明确必要的时候单独处理。
链式跳转和跨域跳转要注意什么
几类跳转容易拖慢URL发现：
- 跳转链超过两层。A跳到B，B又跳到C，蜘蛛每层都要重新请求，抓取预算被切成多份。
- 跳转到不同域名。跨域跳转本身不一定会被拒绝，但如果目标域名信任度低、内容质量差，原始地址的发现价值会打折扣。
- 跳转到404或软404。蜘蛛跟到最后发现是空页，这次抓取基本没有产出。
- http与https、带www与不带www混用。同一个页面出现多个版本，容易让canonical和投放清单对不上。
投放前的检查步骤
- 用命令行工具或在线检测看响应头，确认状态码是301还是302，Location指向哪里。
- 跟随跳转直到最终地址，确认最终页返回200，标题、正文、canonical都正常。
- 检查最终地址是否与页面里的canonical一致。如果不一致，先修页面再投放。
- 把跳转链压到一跳。能直接写最终地址的，就不要绕原始地址。
- 批量清洗清单，去掉重复的原始地址和最终地址，避免同一内容反复占用抓取。
顺带说一个容易被误判的状态：304
有时抓取日志里同一URL反复出现，状态码是304。这不代表蜘蛛没有抓取，而是服务器告诉蜘蛛内容没有变化，蜘蛛不需要重新下载完整页面。304通常不影响URL发现，也不会因为“没传输内容”就被判定为无效抓取。真正需要关注的是持续301、302跳转和5xx错误。
投放清单里的每个URL，最好都能回答三个问题：返回什么状态码、最终落在哪个地址、这个地址的canonical是谁。把这三件事对齐，301跳转就不会成为URL发现的障碍。
如果你的投放清单里跳转地址占比很高，可以先按上述步骤做一轮清洗。把最终地址作为主投放对象，原始地址按需保留，搜索蜘蛛的抓取路径会更直接，目标页面的发现也更可控。