在蜘蛛池入口页上布链接时,经常有人纠结要不要给链接加 rel="nofollow"。有人担心加了之后搜索蜘蛛就不来了,也有人觉得不加会分散权重。这两种担心其实混了两件事:URL 发现和权重传递。
nofollow 原本在说什么
nofollow 最早的语义是「这个链接不是我推荐的」,它针对的是权重和信任的传递,而不是「这个地址不存在」。链接依然是一个可解析的 href,搜索蜘蛛在解析 HTML 时照样能看到目标地址。
后来主流搜索引擎陆续把 nofollow 从「指令」改成了「提示」。也就是说,搜索引擎可以采纳,也可以不采纳,具体行为由各家自己决定,并且可能随时间调整。所以它并不是一把能彻底关掉链接的开关。
发现和传递是两回事
对 URL 发现的影响
从解析层面看,一个带 nofollow 的普通 a 标签,和普通链接在 HTML 里没有本质区别,蜘蛛抓取入口页时同样能拿到 href 里的地址。是否继续请求这个地址,取决于搜索引擎的策略、页面的抓取预算,以及目标地址本身的表现。
对权重和收录的影响
即使搜索蜘蛛顺着链接访问了目标URL,也不代表这个页面就会被收录或获得排名。抓取、收录、排序是三个独立环节,nofollow 更多作用于后两者。把「蜘蛛来没来」当成「能不能收录」的同义词,是最常见的误判。
不同搜索引擎的处理差异
Google 对 nofollow 的态度是当作提示,所以它仍可能用于发现新地址;Bing 的表述接近,但细节有差别;百度对 nofollow 的支持一直比较含糊,公开文档不多,实际表现也不稳定。如果蜘蛛池入口页的目的就是让搜索蜘蛛看到目标URL,就不要把结果押在对某一家解释的猜测上。
蜘蛛池入口页的实际写法建议
- 如果目的只是让蜘蛛发现目标URL,用不加 nofollow 的普通链接最省事,语义也最清楚。
- 如果入口页上同时还挂着大量不想被跟的站外链接,可以只给那些加 nofollow,把注意力集中到目标URL上。
- 不要一边给目标URL的链接加 nofollow,一边期待它被抓取,这是在跟自己的目的较劲。
- 锚文本写具体一些,别整页都是「点击这里」「查看更多」。
- 不必为了 nofollow 特意改成按钮、JS 跳转或图片链接,那只会多出一层解析环节,反而增加不确定性。
怎么核对搜索蜘蛛到底来没来
看入口页的服务器日志或 CDN 日志,过滤常见搜索蜘蛛的 UA,确认它是否请求过入口页,以及有没有继续请求目标URL。要注意 UA 可以伪造,重要结论最好配合反向 DNS 或 IP 归属做校验。
如果日志里入口页被访问过,但目标URL一直没动静,先检查目标URL自身返回的状态码、响应时间,以及是否被 robots.txt 或登录墙挡住,再回头怀疑链接写法。
nofollow 影响的是「我推荐不推荐」,不是「这里有没有链接」。把这两件事分开看,很多纠结自然就消失了。
几个容易踩的坑
- 把 nofollow 和 noindex 混为一谈——noindex 管的是页面本身能否进入索引。
- 图省事给整个入口页的链接统一加 nofollow,连目标URL一起带上。
- 以为加了 nofollow 就等于「隐身」,入口页不会被抓、链接也不会被看到。
- 把某一次观察到的结果,当成永久不变的规律。
最后提醒一点:蜘蛛池能影响的只是被发现的机会,它决定不了目标URL会不会被收录、排名如何。目标站自身的内容质量、服务器稳定性、robots 与站点结构设置,才是更值得花时间的地方。