很多站点為了換域名、做短鏈或統計点击，會把入口頁的連結先指向一個跳轉地址，再由跳轉地址送到真正的目标 URL。這样做搜尋蜘蛛還能不能發現目标頁，取决于跳轉類型、跳轉层數和终点頁面的狀態碼。
搜尋蜘蛛怎么處理跳轉
主流搜尋引擎的抓取程序遇到 301、302、307、308 這類 HTTP 跳轉，通常會繼續請求 Location 头里的新地址，直到拿到 200 狀態碼的頁面，或者直到跳轉次數超過它内部的限制。也就是说，鏈路不是看一眼就走，而是會一路跟下去，但每一跳都會消耗抓取资源。
301 和 302 的区別
- 301 永久跳轉：一般會被当作地址已经永久更換，信号倾向传递到新地址，蜘蛛也會較快记住新地址。
- 302 / 307 临时跳轉：搜尋引擎倾向繼續保留舊地址，不會马上把舊地址替換掉，長期使用容易让舊地址被反复抓取。
- 鏈式跳轉：A→B→C→D 這種多跳，每增加一跳就多一次請求，跳數太多时蜘蛛可能中途放弃，目标 URL 就發現不了。
入口頁連結指向跳轉地址的常见問题
1. 跳轉层數太多
入口頁連結一次跳轉通常没問题，两层也算常见。三层以上就值得改，因為抓取预算被消耗在中間地址上，目标 URL 的發現速度會變慢。若入口頁本身放了大量跳轉連結，整体抓取效率會進一步下降。
2. 跳轉地址本身被 robots.txt 阻止
如果 robots.txt 屏蔽了跳轉中間地址，蜘蛛可能無法讀取跳轉，即使目标 URL 允许抓取也發現不了。排查时要连中間地址一起看，而不是只看目标 URL。
3. 跳轉到 404、410 或 5xx
跳轉到最终返回 404 的地址，目标 URL 自然無法被抓取，入口頁上的這條連結基本無效。若最终地址返回 5xx，蜘蛛會当作抓取失敗，可能過一段時間再试，也可能降低回訪频率。
連結指向哪里，比連結寫在哪里更重要。跳轉鏈路上的任何一個坏节点，都會让後面的目标 URL 發現失敗。
4. 跳轉目标與入口頁协议或域名不同
從 https 入口頁跳到 http 目标，或跳到另一個域名，技術上蜘蛛都會跟，但要注意目标域名自身的可抓取性、證书有效性和 robots.txt 規則。跨域跳轉不是禁止行為，只是增加了不确定性。
5. 用 JavaScript 或 meta refresh 做跳轉
HTTP 跳轉是蜘蛛最容易處理的。JavaScript 跳轉和 meta refresh 依赖渲染能力，可能被延迟處理，甚至不處理。把關键目标 URL 的發現寄托在這類方式上，稳定性明顯不如直接寫超連結或使用 301。
入口頁做跳轉时的實用建议
- 能直鏈就直鏈。目标 URL 狀態正常时，入口頁直接寫最终地址，鏈路最短，發現最稳。
- 需要統計点击时，優先用前端事件或參數，而不是把用戶绕到跳轉地址再绕回来。
- 必须跳轉就用 301，鏈條控制在一跳以内，並把入口頁的連結逐步替換成最终地址。
- 确保最终地址返回 200，且没有被 robots.txt、noindex 或登入墙挡住。
- 检查日誌时，除了看目标 URL 的抓取记錄，也要看中間跳轉地址是否被請求，這能判断蜘蛛卡在哪一步。
- 跳轉地址不要加 nofollow，否則蜘蛛可能连跳轉都不跟。
- 舊域名的 301 尽量指向新域名的同内容頁，不要统一跳到首頁，否則目标 URL 的發現會變成首頁發現。
怎么驗證蜘蛛是否跟到了终点
可以在目标頁上放一個獨特标记，比如僅在蜘蛛 UA 下可见的一段文字，或者观察服務器日誌中目标 URL 的請求来源。更直接的办法是看日誌里中間地址的請求後面是否紧跟着目标地址的請求。如果只有中間地址被請求，目标地址長期没有记錄，就要怀疑跳轉鏈太長或终点不可抓。
最後提醒一点，跳轉本身不會让目标 URL 更容易被收錄，它只是把發現路径延長了一段。蜘蛛池入口頁的價值是让目标 URL 被顺藤摸瓜地找到，鏈路越干净，结果越可预期。