常
入口頁連結加了 rel=nofollow、sponsored 或 ugc,搜尋蜘蛛還會去抓目标 URL 吗
很多人在蜘蛛池入口頁给連結加 nofollow,以為搜尋蜘蛛就不會跟過去,结果日誌里照样出現目标 URL 的抓取记錄。本文把 URL 發現和權重传递拆開讲,說明 nofollow、sponsored、ugc 三個属性的實际作用,以及想真正阻止抓取、或想让目标連結被發現时,各自该調整哪一层。
阅讀全文 →共找到 1 篇與“rel nofollow”相關的文章。
很多人在蜘蛛池入口頁给連結加 nofollow,以為搜尋蜘蛛就不會跟過去,结果日誌里照样出現目标 URL 的抓取记錄。本文把 URL 發現和權重传递拆開讲,說明 nofollow、sponsored、ugc 三個属性的實际作用,以及想真正阻止抓取、或想让目标連結被發現时,各自该調整哪一层。
阅讀全文 →