在蜘蛛池或入口頁运营中，经常遇到一種情况：入口頁里放的目标 URL 能正常打開，但目标 URL 自身又返回了 301 或 302，跳到了另一個地址。比如 http 跳 https、带 www 跳不带 www、舊路径跳到新路径。這时搜尋蜘蛛從入口頁發現連結後，到底會跟到哪一步？入口頁的連結還有没有發現價值？
搜尋蜘蛛遇到跳轉时的基本處理
多數搜尋蜘蛛在抓取 URL 时，會像浏览器一样處理重定向。你给它一個地址，服務器返回 301 或 302，並附带 Location 头，蜘蛛會把這個 Location 当作下一步要抓的地址。只要跳轉鏈没有異常，蜘蛛通常會繼續抓下去，直到拿到最终返回 200 的頁面。
不過，搜尋蜘蛛不是無限跟跳。跳轉次數太多、跳轉成环、跳轉到不可訪問的地址，都會让抓取提前結束。中間跳轉的 URL 一般不會被当作最终内容收錄，除非它自身也有獨立價值。最终被索引的通常是跳轉鏈末端那個正常返回内容的地址。
几種常见跳轉场景
- HTTP 跳 HTTPS：這是最常见的。入口頁如果寫的是 http 地址，蜘蛛會先抓 http，再跟到 https。最终發現的是 https 版本。建议入口頁直接寫 https。
- www 跳非 www，或反過来：如果站点做了規范化跳轉，最终地址只有一個。入口頁寫任意一個都可以被發現，但直接寫最终地址少一次抓取。
- 舊路径跳新路径：目标 URL 改版後 301 到新地址，蜘蛛會跟到新地址。舊地址如果長期保留 301，可以作為入口被發現，但更稳妥的是更新入口頁連結。
- 短鏈或中間頁跳轉：有些短鏈服務會经過 302 中轉。蜘蛛可能跟到最终地址，也可能因為中間頁有防護、需要 JS 而中断。入口頁尽量不用短鏈。
對入口頁連結的影响
如果入口頁連結指向的是一個會跳轉的 URL，搜尋蜘蛛仍然有机會發現最终地址，但過程多了一步。多出来的跳轉意味着額外的抓取請求。對于抓取预算有限的小站，或者入口頁數量很多的情况，這些中間跳轉可能造成浪費。
更關键的是，如果跳轉鏈不稳定，比如最终地址经常變、跳轉目标被 CDN 或 WAF 拦截、跳轉需要依赖 JavaScript，蜘蛛可能跟不到最终頁。這时入口頁里的連結看起来存在，實际却没有把蜘蛛带到目标内容。
判断标准：從入口頁連結出發，用不执行 JS 的方式訪問，看最终返回 200 的地址是不是你要的目标 URL。如果是，說明跳轉鏈路對蜘蛛基本可用。
需要排查的異常情况
- 跳轉成环：A 跳 B，B 跳 A。蜘蛛會停在中間，最终地址無法被抓取。
- 跳轉到登入頁或驗證頁：目标 URL 因為權限問题跳到登入頁，蜘蛛看到的是登入界面，不是你要推廣的内容。
- 跳轉到 404 或 410：目标 URL 跳到一個不存在的地址，入口頁的連結相当于指向死胡同。
- 跳轉到其他域名：跨域跳轉本身没問题，但如果目标域名被 robots.txt 屏蔽，蜘蛛一样無法繼續。
- 跳轉鏈太長：超過三四次跳轉後，部分蜘蛛可能放弃，或者把抓取预算消耗在中轉地址上。
實操建议
第一，入口頁里的目标連結尽量直接寫最终 URL，避免依赖跳轉来“传递”發現。第二，定期检查入口頁連結的跳轉鏈，可以用 curl -I -L 查看狀態碼和 Location，也可以用浏览器開發者工具的 Network 面板观察。第三，如果目标 URL 必须做跳轉，确保跳轉規則稳定，最终地址可訪問且没有被 robots.txt 或 WAF 拦住。第四，sitemap 和 URL 提交接口可以作為补充，但不要用来替代入口頁連結的准确性。
最後，跳轉不是收錄捷径。搜尋蜘蛛跟到最终地址，只代表它發現了這個 URL，能不能被索引還要看内容质量、頁面狀態和站点整体情况。入口頁运营要關注的是：蜘蛛能否稳定、少绕路地到達目标 URL，以及目标 URL 返回给蜘蛛的頁面是否正常。