很多站長把“收錄”当成一個動作，實际上它至少拆成两步：蜘蛛先發現這個 URL，然後才可能把它编入索引。發現是入口，收錄是结果。而 URL 被發現的路径並不只有一條——站点地图、内鏈、外鏈、站長平台的手動提交，都在给爬虫递线索。這篇文章只聊其中一個常被高估、也常被誤解的入口：外部連結。
蜘蛛發現 URL 的几條常见路径
- 站点地图：主動列出希望被抓取的地址，属于“自报家门”，适合把重要頁面整体交代清楚。
- 内鏈：站内頁面之間互相指向，是持續性最强、最可控的通道。
- 外鏈：別的站点指向你的頁面，属于被動入口，能不能被發現取决于對方頁面是否被抓取。
- 手動提交：在站長平台單獨提交某個 URL，适合少量、临时的补充。
這几條路径解决的問题都是“地址在哪”，而不是“這個地址值不值得進索引”。分清這一点，後面很多困惑會自然消失。
外鏈在“發現”环节實际起什么作用
爬虫訪問一個外部頁面时，會解析頁面上的連結，把此前没见過的 URL 放進待抓取队列。所以外鏈的真實價值，是让一個原本無人知晓的地址第一次進入队列。
如果一個深层頁面既没有站内連結指向它，也没有出現在站点地图里，那么一條能被抓到的外鏈，往往就是它唯一被發現的可能。反過来说，如果頁面已经被内鏈和站点地图覆盖，外鏈在發現环节的邊际作用就没那么大了。
發現不等于收錄。外鏈解决的是“這個地址在哪里”，不解决“這個地址该不该被放進索引”。
什么样的外鏈更容易被爬虫顺着走
連結所在的頁面本身要被抓取
這是最容易被忽略的一环。如果對方頁面被 robots.txt 挡住、返回 404、需要登入才能看到，或者内容完全靠脚本在浏览器里渲染，而抓取端没有执行脚本，那么這條連結大概率不會被记錄，你也等不到蜘蛛過来。
連結要是真正可解析的連結
用 a 标簽配合 href 属性是最稳妥的寫法。用按钮加点击事件、脚本跳轉、外层包一层框架頁等形式，抓取端不一定能把它识別成一條連結，也就無從顺着走。
外鏈頁面的抓取频率
一個長期更新、被反复抓取的頁面，連結被發現的速度通常更快；一個几個月都無人問津的頁面，即使挂上了連結，也可能長時間没有蜘蛛路過。
關于 rel="nofollow"：主流搜尋引擎現在把它当作提示而非绝對指令。带 nofollow 的連結通常仍可能被用于發現 URL，只是不传递權重類信号。所以它挡不住發現，只能减少信号传递。
外鏈解决不了的問题
- 頁面被 robots.txt 拦住——抓都抓不到，谈不上收錄。
- 頁面寫了 noindex——能被抓取，但會被明确排除在索引之外。
- 目标地址返回 404 或 5xx——連結指過去也是空的。
- 内容重复、單薄、與站内已有頁面高度相似——索引阶段會做取舍，外鏈帮不上忙。
- 站点整体抓取異常——先把站内問题修好，再谈外鏈。
換句话说，外鏈能改善“被發現”的概率，但改不了頁面自身和站点层面的判断依據。
把外鏈用在 URL 發現上的几個做法
- 给重要的深层頁面争取至少一個可抓取的外部入口，尤其是内鏈层級很深、平时几乎没人点到的頁面。
- 先確認外鏈所在的頁面本身能被索引，否則這條連結的實际價值有限。
- 用訪問日誌核對：看對方頁面對應的抓取记錄，以及目标 URL 是否在相近時間被訪問過。能看到訪問，說明鏈路是通的。
- 不要用外鏈替代内鏈和站点地图。外鏈是补充入口，站内结构才是主通道，一旦断掉，损失更直接。
- 批量铺外鏈之前先問一句：目标頁面值不值得被收錄。低质頁面即使被發現了，也未必留在索引里。
小结
外鏈對收錄的作用，准确地说集中在“發現”這一环。它能让一個此前無人知道的 URL 進入抓取队列，但最终進不進索引，取决于頁面是否可抓取、内容是否有獨立價值、站点整体是否健康。把外鏈当成线索来源，而不是收錄的開關，判断會更稳一些。