蜘蛛發現新 URL，主要靠頁面里的連結和 Sitemap。但同样是連結，出現在導航、正文、頁脚還是侧邊栏，被蜘蛛注意到的机會並不一样。連結的位置和上下文，會直接影响它進入抓取队列的顺序和频率。
蜘蛛按什么顺序讀到連結
蜘蛛抓取 HTML 时，會按照文档顺序解析。通常先讀到 head 里的资源引用，然後是導航、面包屑、正文，最後才是頁脚和侧邊栏。靠前的連結，蜘蛛更早遇到，也更容易被记錄進待抓队列；靠後的連結虽然也會被發現，但上下文信号弱一些，優先級往往更低。
這不是说頁脚連結無效，而是说不同位置的連結，在蜘蛛眼里承担的角色不同。導航和正文里的連結更像主干路线，頁脚和侧邊栏更像补充入口。
導航：站点的主干路线
主導航是蜘蛛理解站点结构的第一层。分類入口清晰、层級稳定，蜘蛛就能沿着固定路径往下抓。導航連結不要太多，一层放十几個主要栏目已经足够；如果導航里塞進大量标簽頁、活動頁、城市分站，蜘蛛容易在入口层反复打轉，反而减少對詳情頁的抓取。
面包屑也是導航的一部分。它把目前頁面和上級栏目连在一起，让蜘蛛知道這個 URL 在站点里的位置。面包屑連結尽量用可讀的文字，不要用图片或纯 JS 按钮代替。
正文連結：上下文最强
正文里自然出現的連結，是蜘蛛判断目标頁主题的重要线索。锚文本和周围几句话，一起告诉蜘蛛目标頁大概讲什么。比如在一篇讲抓取日誌的文章里，連結到“响應時間與抓取吞吐”的頁面，目标頁的相關性就比頁脚一個孤零零的連結更明确。
正文連結要注意几点：
- 锚文本用目标頁的核心词，不要用“点击這里”“了解更多”這類空泛说法。
- 連結放在相關内容附近，不要為了加連結而加連結。
- 同一頁面里，同一個目标 URL 出現一次即可，重复多次不會带来額外好處。
- 重要頁面尽量從多個相關頁面获得正文連結，而不是只靠導航入口。
頁脚與侧邊栏：連結多，但要控制
頁脚和侧邊栏的連結會在全站每一頁重复出現。蜘蛛每次抓取一個頁面，都會再次遇到這些連結，時間一長，它們會占據不少抓取预算。更重要的是，這些連結缺少正文上下文，蜘蛛很难判断哪個更重要。
比較稳妥的做法是：
- 頁脚只放真正需要全站露出的入口，比如關于、联系、隐私政策、主要栏目。
- 不要把标簽云、最新评论、随机文章做成几百個連結堆在侧栏。
- 如果某些連結只是给用戶用，不想让蜘蛛反复抓取，可以用 nofollow，但不要指望它解决所有問题。
- 侧邊栏推荐位可以保留，但數量控制在合理范围。
連結數量與抓取预算
一個頁面上的連結越多，蜘蛛分给每個連結的關注就越少。如果一個列表頁有上千個連結，蜘蛛可能只抓取其中一部分就离開。對于分頁列表，尽量让重要内容出現在前几頁，並给列表頁設定合理的分頁導航，而不是全部靠“加载更多”按钮。
可以這样检查：
- 打開一個典型頁面，看導航、正文、頁脚分別有多少連結。
- 在訪問日誌里找蜘蛛抓取记錄，看它是否深入到了詳情頁。
- 把重要頁面從只有頁脚入口，調整為導航或正文入口，观察後續抓取變化。
和内鏈、Sitemap 的關系
連結位置是内鏈结构的一部分，不是替代 Sitemap 的理由。Sitemap 用来给蜘蛛一份 URL 清單，尤其是那些内鏈較少或层級較深的頁面；内鏈則负责告诉蜘蛛哪些頁面更重要、更相關。两者配合，URL 發現會更稳定。
如果站点有蜘蛛池或多域名运营，也要注意：蜘蛛池不能代替站内連結质量。它最多增加蜘蛛来訪频次，但最终决定頁面是否被持續抓取的，還是頁面本身的结构、响應速度和内容價值。
連結放在哪里，决定了蜘蛛先看到什么、認為什么更重要。先理顺導航和正文連結，再考虑頁脚和侧邊栏，通常比堆連結更有效。