搜
nofollow 与链接属性:被标注的 URL 还会被蜘蛛发现和抓取吗
nofollow 常被当成禁止抓取的开关,但它其实只是一种提示。本文区分链接层面的 rel 属性、页面级 nofollow 与 robots.txt 的作用范围,说明被标注的 URL 为什么仍可能被蜘蛛发现,并给出日志核对方法与站点运营中的实际取舍建议。
阅读全文 →共找到 1 篇与“抓取提示”相关的文章。
nofollow 常被当成禁止抓取的开关,但它其实只是一种提示。本文区分链接层面的 rel 属性、页面级 nofollow 与 robots.txt 的作用范围,说明被标注的 URL 为什么仍可能被蜘蛛发现,并给出日志核对方法与站点运营中的实际取舍建议。
阅读全文 →