标签：rel nofollow

入口页链接加了 rel=nofollow、sponsored 或 ugc，搜索蜘蛛还会去抓目标 URL 吗

很多人在蜘蛛池入口页给链接加 nofollow，以为搜索蜘蛛就不会跟过去，结果日志里照样出现目标 URL 的抓取记录。本文把 URL 发现和权重传递拆开讲，说明 nofollow、sponsored、ugc 三个属性的实际作用，以及想真正阻止抓取、或想让目标链接被发现时，各自该调整哪一层。