在整理投放清單时，经常遇到一種情况：要推的URL打開後會跳到另一個地址。有人直接把原始地址填進蜘蛛池，有人則手動換成跳轉後的最终地址。两種做法都能让搜尋蜘蛛看到内容，但對URL發現和後續抓取的影响並不一样。
搜尋蜘蛛遇到301时怎么處理
搜尋蜘蛛請求原始URL时，服務器返回301，蜘蛛會讀取响應头里的Location，再向新地址發起請求。最终内容如果正常返回200，通常會把權重和索引信号归到最终地址上。原始地址會逐渐從索引里登出，但這個過程不是瞬間完成的。
從URL發現的角度看，投放原始地址相当于让蜘蛛多走一步。如果跳轉鏈很短、目标明确，蜘蛛能够顺利跟進；如果跳轉层數多，或者中途经過無關域名，抓取预算會被消耗在中間环节，目标頁面的發現效率反而下降。
投放时该填原始地址還是最终地址
没有绝對答案，主要看跳轉的性质和你希望蜘蛛發現什么。
- 站点自己控制的永久跳轉，比如http到https、不带www到带www、舊栏目迁移到新栏目，建议直接投最终地址。這样蜘蛛一次請求就能拿到内容，减少中間消耗，也避免原始地址和最终地址同时出現在清單里造成重复。
- 原始地址仍有外部連結或流量，比如做過外鏈、投過广告、有用戶收藏，可以保留原始地址的投放，让蜘蛛通過跳轉關系確認新地址。但最好同时把最终地址也加入清單，不要只依赖跳轉。
- 短期活動頁或临时跳轉，如果跳轉是302且随时可能取消，不建议大量投放原始地址。蜘蛛跟進後可能只看到临时狀態，過几天地址失效，反而产生無效抓取。
批量投放时更稳妥的做法是：以最终返回200、内容稳定、canonical指向自身的地址為准。原始地址只在有明确必要的时候單獨處理。
鏈式跳轉和跨域跳轉要注意什么
几類跳轉容易拖慢URL發現：
- 跳轉鏈超過两层。A跳到B，B又跳到C，蜘蛛每层都要重新請求，抓取预算被切成多份。
- 跳轉到不同域名。跨域跳轉本身不一定會被拒绝，但如果目标域名信任度低、内容质量差，原始地址的發現價值會打折扣。
- 跳轉到404或软404。蜘蛛跟到最後發現是空頁，這次抓取基本没有产出。
- http與https、带www與不带www混用。同一個頁面出現多個版本，容易让canonical和投放清單對不上。
投放前的检查步骤
- 用命令行工具或在线檢測看响應头，確認狀態碼是301還是302，Location指向哪里。
- 跟随跳轉直到最终地址，確認最终頁返回200，标题、正文、canonical都正常。
- 检查最终地址是否與頁面里的canonical一致。如果不一致，先修頁面再投放。
- 把跳轉鏈压到一跳。能直接寫最终地址的，就不要绕原始地址。
- 批量清洗清單，去掉重复的原始地址和最终地址，避免同一内容反复占用抓取。
顺带说一個容易被誤判的狀態：304
有时抓取日誌里同一URL反复出現，狀態碼是304。這不代表蜘蛛没有抓取，而是服務器告诉蜘蛛内容没有變化，蜘蛛不需要重新下载完整頁面。304通常不影响URL發現，也不會因為“没传輸内容”就被判定為無效抓取。真正需要關注的是持續301、302跳轉和5xx错誤。
投放清單里的每個URL，最好都能回答三個問题：返回什么狀態碼、最终落在哪個地址、這個地址的canonical是谁。把這三件事對齐，301跳轉就不會成為URL發現的障碍。
如果你的投放清單里跳轉地址占比很高，可以先按上述步骤做一轮清洗。把最终地址作為主投放對象，原始地址按需保留，搜尋蜘蛛的抓取路径會更直接，目标頁面的發現也更可控。