很多人把 nofollow 当成“蜘蛛别走这条路”的开关，实际它更像一个提示：告诉搜索引擎这个链接的信任度或商业性质不同。蜘蛛不会因为一个 nofollow 就完全看不到目标 URL，但这条路径的优先级、权重传递和后续抓取频率都会受影响。
三种链接属性分别解决什么问题
- nofollow：最早用于标记不可信或付费链接。现在多数搜索引擎把它当作“不传递权重”的提示，而不是绝对的抓取禁令。
- sponsored：明确标注广告、赞助或联盟链接，比 nofollow 更细。
- ugc：用户生成内容里的链接，比如评论、论坛帖子。用于区分站方推荐和用户自发链接。
三者共同点是：不传递权重信号，但目标 URL 依然可能被发现，只是被发现的方式和抓取安排不同。
蜘蛛遇到 nofollow 链接时会怎样
常见情况有三种：
- 链接被忽略：不进入常规抓取队列，目标 URL 需要靠 Sitemap、外链或别处内链被发现。
- 链接被记录：蜘蛛记下 URL，但降低抓取优先级，可能很久才回访。
- 链接照常走：部分搜索引擎会把 nofollow 当建议，尤其当同一目标在别处有正常链接时。
所以关键不是“有没有 nofollow”，而是这条路径是不是主干路径上唯一入口。如果导航、栏目页、详情页之间只靠一个 nofollow 链接相连，蜘蛛的路径就会在这里变窄。
容易把抓取路径改坏的几种写法
- 全站内链加 nofollow：常见于早期“权重集中首页”的做法。结果蜘蛛在页面上找不到可继续走的入口，抓取覆盖停在栏目层。
- 导航加 nofollow：导航通常是站内最重要的路径。加了属性，蜘蛛仍可能从 Sitemap 知道 URL，但拿不到导航层面的重要性信号。
- 分页加 nofollow：列表第二页、第三页被标记后，深层条目只能靠单独入口被发现，路径衰减更快。
- 把推广页的 nofollow 用到正文推荐：正文里指向自己站内优质内容的链接，如果也写 nofollow，会让蜘蛛误判这段内容不值得延伸。
判断标准很简单：这个链接如果是用户找下一步的主要入口，就不该随便加 nofollow。
修正思路：让链接属性和路径目标一致
先分清三层：导航和栏目要保持可正常抓取，正文推荐按内容相关性决定，广告、赞助、用户评论用 sponsored 或 ugc 标注。不要用 nofollow 替代 robots.txt：robots 决定能不能抓，nofollow 影响的是权重与优先级，两者混用会让日志里的抓取路径更难解释。
如果已经加了属性，可以看服务器日志里这些入口的抓取频次变化，再结合 Sitemap 覆盖情况判断：目标 URL 是否还有别的正常入口。若没有，就把主干路径补回来。
上线前可以快速检查这几点
- 主导航、面包屑、栏目列表是否都是普通链接；
- 正文内链是否只有真正不想推荐的才加 nofollow；
- 分页和“下一页”是否可正常抓取；
- 广告与联盟链接是否用 sponsored 标注，而不是全站 nofollow；
- Sitemap 中是否覆盖了那些只靠 nofollow 链接出现的 URL。
链接属性本身不复杂，复杂的是它改变了蜘蛛在站内走路的偏好。把入口留给用户也留给蜘蛛，路径才不会越走越窄。