先弄清短鏈的本质
短鏈服務把 t.cn/xxx 之類的地址映射到一個長 URL,用戶訪問时先請求短鏈域名,再收到一個 HTTP 重定向,通常是 301 或 302,浏览器再跳到最终目标 URL。搜尋蜘蛛如果想發現最终 URL,也必须完整走完這條鏈路:請求短鏈、讀取 Location 头、再請求最终 URL。
所以問题不是短鏈能不能被發現,而是這條鏈路中間會不會断。
搜尋蜘蛛通常會不會跟
主流搜尋蜘蛛對重定向都有跟随能力,一般會設定跳數上限。單层短鏈只有一跳,正常情况下是可以跟到的。但要注意以下区別:
- 301 永久跳轉:语义上更明确,蜘蛛通常會跟,並可能把最终 URL 当作目标地址。
- 302 临时跳轉:蜘蛛一般也會跟,但不會把權重和收錄信号稳定地轉移到最终 URL。
- 多层嵌套:短鏈跳短鏈再跳目标,跳數越多,蜘蛛中途放弃的概率越大。
也就是说,能發現不等于能稳定收錄,也不代表最终 URL 一定被抓取和建立索引。
短鏈容易被忽略的三種断点
1. 短鏈服務商拦截蜘蛛 UA
不少短鏈平台會做反爬和風控,對疑似机器人請求返回 403、429 或驗證頁。如果短鏈只對普通浏览器放行,搜尋蜘蛛請求时拿不到 Location 头,鏈路就断在第一步。
2. robots.txt 或 nofollow 限制
短鏈域名本身的 robots.txt 可能禁止抓取,或者短鏈頁面通過 nofollow 阻断了跟随。即使你控制不了短鏈域名的規則,它也會影响蜘蛛是否繼續走下一步。
3. 短鏈域名本身的信誉
短鏈域名被大量垃圾内容使用,搜尋引擎對其信任度可能較低。長期、大量地用同一短鏈域名做入口跳轉,會让蜘蛛對這條鏈路更谨慎,發現效率下降。
怎么判断蜘蛛到底跟没跟
- 看短鏈服務端日誌:確認是否有搜尋蜘蛛 UA 的請求,以及返回狀態碼是 301、302 還是 403。
- 模拟蜘蛛 UA 請求:用命令行工具带蜘蛛 UA 訪問短鏈,观察返回头和 Location 是否正常。
- 用抓取測試工具:在搜尋控制台的網址检查里輸入短鏈或最终 URL,查看重定向鏈和最终抓取狀態。
- 對比直鏈入口:同一批 URL 分別用短鏈和直鏈做入口,看日誌里目标 URL 的抓取次數差异。
短鏈不是不能用,但它把 URL 發現這件事交给了你控制不了的第三方。核心入口連結越重要,越應该减少中間环节。
更稳妥的做法
- 入口頁優先寫最终目标 URL 的直鏈,减少一次重定向。
- 如果必须跳轉,用自己域名下的 301,並确保蜘蛛 UA 不被拦截。
- 避免短鏈套短鏈,跳轉层數控制在 1 跳以内。
- 不要把全部入口都押在短鏈上,保留一部分直鏈做對照。
- 定期检查跳轉鏈路的返回狀態碼,發現 403、404、302 循环要及时替換。
總结:短鏈跳轉能不能被搜尋蜘蛛跟到最终 URL,取决于短鏈服務是否放行蜘蛛、跳轉狀態碼和跳轉层數。它可能有效,但不稳定,适合做辅助入口,不适合作為核心 URL 發現手段。