先弄清短链的本质
短链服务把 t.cn/xxx 之类的地址映射到一个长 URL,用户访问时先请求短链域名,再收到一个 HTTP 重定向,通常是 301 或 302,浏览器再跳到最终目标 URL。搜索蜘蛛如果想发现最终 URL,也必须完整走完这条链路:请求短链、读取 Location 头、再请求最终 URL。
所以问题不是短链能不能被发现,而是这条链路中间会不会断。
搜索蜘蛛通常会不会跟
主流搜索蜘蛛对重定向都有跟随能力,一般会设置跳数上限。单层短链只有一跳,正常情况下是可以跟到的。但要注意以下区别:
- 301 永久跳转:语义上更明确,蜘蛛通常会跟,并可能把最终 URL 当作目标地址。
- 302 临时跳转:蜘蛛一般也会跟,但不会把权重和收录信号稳定地转移到最终 URL。
- 多层嵌套:短链跳短链再跳目标,跳数越多,蜘蛛中途放弃的概率越大。
也就是说,能发现不等于能稳定收录,也不代表最终 URL 一定被抓取和建立索引。
短链容易被忽略的三种断点
1. 短链服务商拦截蜘蛛 UA
不少短链平台会做反爬和风控,对疑似机器人请求返回 403、429 或验证页。如果短链只对普通浏览器放行,搜索蜘蛛请求时拿不到 Location 头,链路就断在第一步。
2. robots.txt 或 nofollow 限制
短链域名本身的 robots.txt 可能禁止抓取,或者短链页面通过 nofollow 阻断了跟随。即使你控制不了短链域名的规则,它也会影响蜘蛛是否继续走下一步。
3. 短链域名本身的信誉
短链域名被大量垃圾内容使用,搜索引擎对其信任度可能较低。长期、大量地用同一短链域名做入口跳转,会让蜘蛛对这条链路更谨慎,发现效率下降。
怎么判断蜘蛛到底跟没跟
- 看短链服务端日志:确认是否有搜索蜘蛛 UA 的请求,以及返回状态码是 301、302 还是 403。
- 模拟蜘蛛 UA 请求:用命令行工具带蜘蛛 UA 访问短链,观察返回头和 Location 是否正常。
- 用抓取测试工具:在搜索控制台的网址检查里输入短链或最终 URL,查看重定向链和最终抓取状态。
- 对比直链入口:同一批 URL 分别用短链和直链做入口,看日志里目标 URL 的抓取次数差异。
短链不是不能用,但它把 URL 发现这件事交给了你控制不了的第三方。核心入口链接越重要,越应该减少中间环节。
更稳妥的做法
- 入口页优先写最终目标 URL 的直链,减少一次重定向。
- 如果必须跳转,用自己域名下的 301,并确保蜘蛛 UA 不被拦截。
- 避免短链套短链,跳转层数控制在 1 跳以内。
- 不要把全部入口都押在短链上,保留一部分直链做对照。
- 定期检查跳转链路的返回状态码,发现 403、404、302 循环要及时替换。
总结:短链跳转能不能被搜索蜘蛛跟到最终 URL,取决于短链服务是否放行蜘蛛、跳转状态码和跳转层数。它可能有效,但不稳定,适合做辅助入口,不适合作为核心 URL 发现手段。