在入口頁里放目标連結时，有人习惯用短鏈服務或自建的跳轉頁，好處是能統計点击、随时換目标、隐藏真實地址。但從 URL 發現的角度看，多一层跳轉就多一层不确定性：搜尋蜘蛛會不會跟到最终的目标頁，取决于跳轉是怎么實現的，以及這條鏈路上有没有額外的拦截。
先分清跳轉的几種實現方式
同样叫“短鏈”，背後的技術實現差別很大，蜘蛛看到的也不一样：
- 服務端 301 / 302 / 307 重定向：請求短鏈地址时，服務器直接返回狀態碼和 Location 头，浏览器和蜘蛛都是靠這個响應跳轉。
- meta refresh：先返回一個 HTML 頁面，頁面里用 meta 标簽声明几秒後跳走。
- JavaScript 跳轉：返回的 HTML 里靠 location.href 之類的脚本执行跳轉。
- 短鏈平台自有逻辑：先返回一個中間頁，前端再調接口換取真實地址，中間頁本身可能带 robots 規則或登入校驗。
搜尋蜘蛛在這些鏈路上會怎么走
服務端 301 / 302：通常會被跟随，但跳數有限
服務端重定向是蜘蛛最容易處理的形式。它拿到 Location 头後，會繼續請求下一跳。需要留意两点：一是跳數，多數搜尋引擎對單個 URL 的连續重定向有上限（常见说法在 5 跳左右），鏈條太長，後面的地址很可能就不追了；二是重定向鏈里如果任何一跳返回 5xx、404，或者被 robots.txt 的 Disallow 挡住，鏈路就断在那里。
meta refresh 與 JS 跳轉：不确定性明顯更大
這两種方式都需要蜘蛛先把 HTML 抓下来、再去解析或渲染。HTML 层面的解析通常没問题，但 JS 跳轉要看渲染环节是否执行到那一段，尤其是脚本被外鏈、被混淆、或者依赖某個接口返回成功才跳轉的时候，實际能否跟進就很难保證。把跳轉逻辑放在异步請求之後，等于把 URL 發現交给了运气。
短鏈平台自己的規則可能直接挡住
不少短鏈服務對爬虫並不友好：中間頁可能带 nofollow，可能對非浏览器 UA 返回驗證頁，也可能在 robots.txt 里限制抓取。這时候不是“蜘蛛跟不跟”的問题，而是它在第一跳就被挡回来了。自建跳轉頁相對可控，但同样要检查 robots.txt、UA 判断和 WAF 規則有没有誤伤。
用短鏈或跳轉頁做 URL 發現，值不值得
结论不复杂：如果目标只是統計点击，短鏈很方便；如果目标是让搜尋蜘蛛從入口頁走到目标頁，那每一层跳轉都是在削减成功率。跳轉鏈條越長、越依赖脚本、中間頁越“聪明”（UA 判断、風控、驗證碼），被發現的可能性就越低。
另外還有一個容易被忽略的点：即使蜘蛛跟到了最终頁，它记錄下来的發現路径也是這條跳轉鏈。跳轉平台的域名如果本身抓取频率低或被限制，入口頁给出的這條信号就會打折扣。
怎么驗證蜘蛛到底跟到了哪一步
- 看入口頁所在服務器的訪問日誌，確認蜘蛛請求了短鏈地址。
- 看短鏈服務或跳轉頁的日誌，確認同一時間是否收到来自蜘蛛 UA 的請求，以及它請求的是哪一條。
- 看最终目标頁的服務器日誌，是否出現對應 UA 的請求，請求時間是否接在跳轉之後。
- 如果只看到第一跳、看不到後面，就把跳轉方式临时換成服務端 302，再观察一次，用来判断是渲染問题還是被拦截。
這三段日誌能對上，才說明鏈路是通的。只看某一處，容易得出“蜘蛛来了”或“蜘蛛没来”的错誤结论。
更稳妥的做法
- 入口頁里直接寫目标頁的完整 URL，让蜘蛛一跳到位，短鏈只用于站外的点击統計场景。
- 确實需要跳轉时，優先用服務端 301 / 302，不要用 JS 跳轉。
- 把跳轉鏈控制在两跳以内，中間不要串多個不同域名。
- 检查跳轉頁和短鏈域名下有没有 robots.txt 限制、UA 白名單或風控拦截。
- 重要的目标頁，除了入口頁連結，也可以用 sitemap 或站内連結單獨给它一條發現路径，不要只依赖跳轉鏈。
短鏈和跳轉頁解决的是点击統計和連結管理問题，不是 URL 發現問题。把它們当成入口頁里的唯一下發路径，通常會丢掉一部分抓取机會；真正要長期被發現的頁面，還是给它一條干净、直接的連結更省心。