给蜘蛛池入口頁里的連結加上 rel="nofollow"，本意通常是“這條連結我不想让蜘蛛跟過去”。但實际观察下来，不少人會發現目标 URL 依然出現在抓取日誌里。要把這件事说清楚，需要先把两個概念分開：連結發現和權重传递。
發現和權重，是两條不同的鏈路
搜尋蜘蛛解析入口頁 HTML 时，會把 a 标簽里的 href 地址提取出来，放進待抓取队列，這一步叫 URL 發現。是否给它传递權重和信任度，是另一套判断逻辑。rel 属性主要作用在後者，它對前者的影响更接近于“建议”，而不是一個硬開關。
換句话说，加了 nofollow 的連結，仍然可能被解析、被發現，甚至被單獨訪問一次；只是搜尋引擎在計算關系时，不會把它当作站点主動给出的推荐。
nofollow、sponsored、ugc 分別在说什么
- rel="nofollow"：声明這條連結不是站点主動推荐的，常见于评论、广告位、付費合作。歷史上它是硬性阻断，現在更多被当成提示處理。
- rel="sponsored"：明确标注付費或商业合作性质的連結。
- rel="ugc"：标注来自用戶生成内容的連結，比如论坛帖子、评论区。
三者的共同点是：都在告诉搜尋引擎“這條連結的關系需要打折看待”，而不是“這條連結不存在”。不同搜尋引擎的解讀並不完全一致，有的仍然比較嚴格地不跟進，有的會過去看一眼。
為什么日誌里還是能看到抓取
常见原因有几個：
- 目标 URL 通過別的路径被發現了，比如其他入口頁、sitemap、外部連結，甚至目标頁自己的站内互鏈。
- 蜘蛛只是訪問一次做狀態判断和去重，這不代表它會長期抓，更不代表會收錄。
- 入口頁本身被抓得很频繁，蜘蛛顺手把頁面上的地址都列進了队列。
日誌里出現抓取记錄，只能說明“這條 URL 被訪問過”，不能直接推導出“它被收錄了”或者“它在获得排名”。這两件事之間還有很長一段距离。
想让蜘蛛別抓，该動哪一层
如果目的确實是阻止抓取，優先級更明确的做法是：
- 在目标 URL 上使用 robots.txt 的 Disallow，這是抓取层的控制。
- 在目标頁返回 noindex（meta 标簽或 X-Robots-Tag），它控制的是收錄结果，不是抓取行為。
- 让連結本身不形成可解析的地址结构，但要意识到，這同时會让正常用戶和搜尋引擎都失去這條路径。
還需要提醒：robots.txt 只约束守規矩的爬虫，而且被 Disallow 的 URL 依然可能因為外鏈锚文本等信息出現在索引里。抓取层和收錄层要分開處理，不要指望一個属性解决全部問题。
想让目标 URL 被發現，检查這几項
- 連結是标准的 a 标簽加 href 属性，不是 onclick 事件，也不是纯文本地址。
- 没有加 nofollow、sponsored、ugc 這類會削弱關系标注的属性。
- 入口頁自身可被抓取：robots.txt 允许、返回 200、没有 noindex。
- 連結出現在 HTML 源碼里，而不是完全依赖脚本渲染後才出現。
- 入口頁數量和新增連結的增長节奏平缓，不要一次性堆入大量新地址。
實操建议
把 rel 属性当成“關系标注”，而不是“抓取開關”。真正需要精细控制的，是抓取层（robots.txt、日誌观察、服務器响應稳定性）和收錄层（noindex、内容质量、頁面價值）這两件事。至于目标 URL 最终會不會被收錄、排在第几位，取决于内容本身和站点整体情况，任何入口頁技巧都無法承诺结果。