蜘蛛发现新 URL，主要靠页面里的链接和 Sitemap。但同样是链接，出现在导航、正文、页脚还是侧边栏，被蜘蛛注意到的机会并不一样。链接的位置和上下文，会直接影响它进入抓取队列的顺序和频率。
蜘蛛按什么顺序读到链接
蜘蛛抓取 HTML 时，会按照文档顺序解析。通常先读到 head 里的资源引用，然后是导航、面包屑、正文，最后才是页脚和侧边栏。靠前的链接，蜘蛛更早遇到，也更容易被记录进待抓队列；靠后的链接虽然也会被发现，但上下文信号弱一些，优先级往往更低。
这不是说页脚链接无效，而是说不同位置的链接，在蜘蛛眼里承担的角色不同。导航和正文里的链接更像主干路线，页脚和侧边栏更像补充入口。
导航：站点的主干路线
主导航是蜘蛛理解站点结构的第一层。分类入口清晰、层级稳定，蜘蛛就能沿着固定路径往下抓。导航链接不要太多，一层放十几个主要栏目已经足够；如果导航里塞进大量标签页、活动页、城市分站，蜘蛛容易在入口层反复打转，反而减少对详情页的抓取。
面包屑也是导航的一部分。它把当前页面和上级栏目连在一起，让蜘蛛知道这个 URL 在站点里的位置。面包屑链接尽量用可读的文字，不要用图片或纯 JS 按钮代替。
正文链接：上下文最强
正文里自然出现的链接，是蜘蛛判断目标页主题的重要线索。锚文本和周围几句话，一起告诉蜘蛛目标页大概讲什么。比如在一篇讲抓取日志的文章里，链接到“响应时间与抓取吞吐”的页面，目标页的相关性就比页脚一个孤零零的链接更明确。
正文链接要注意几点：
- 锚文本用目标页的核心词，不要用“点击这里”“了解更多”这类空泛说法。
- 链接放在相关内容附近，不要为了加链接而加链接。
- 同一页面里，同一个目标 URL 出现一次即可，重复多次不会带来额外好处。
- 重要页面尽量从多个相关页面获得正文链接，而不是只靠导航入口。
页脚与侧边栏：链接多，但要控制
页脚和侧边栏的链接会在全站每一页重复出现。蜘蛛每次抓取一个页面，都会再次遇到这些链接，时间一长，它们会占据不少抓取预算。更重要的是，这些链接缺少正文上下文，蜘蛛很难判断哪个更重要。
比较稳妥的做法是：
- 页脚只放真正需要全站露出的入口，比如关于、联系、隐私政策、主要栏目。
- 不要把标签云、最新评论、随机文章做成几百个链接堆在侧栏。
- 如果某些链接只是给用户用，不想让蜘蛛反复抓取，可以用 nofollow，但不要指望它解决所有问题。
- 侧边栏推荐位可以保留，但数量控制在合理范围。
链接数量与抓取预算
一个页面上的链接越多，蜘蛛分给每个链接的关注就越少。如果一个列表页有上千个链接，蜘蛛可能只抓取其中一部分就离开。对于分页列表，尽量让重要内容出现在前几页，并给列表页设置合理的分页导航，而不是全部靠“加载更多”按钮。
可以这样检查：
- 打开一个典型页面，看导航、正文、页脚分别有多少链接。
- 在访问日志里找蜘蛛抓取记录，看它是否深入到了详情页。
- 把重要页面从只有页脚入口，调整为导航或正文入口，观察后续抓取变化。
和内链、Sitemap 的关系
链接位置是内链结构的一部分，不是替代 Sitemap 的理由。Sitemap 用来给蜘蛛一份 URL 清单，尤其是那些内链较少或层级较深的页面；内链则负责告诉蜘蛛哪些页面更重要、更相关。两者配合，URL 发现会更稳定。
如果站点有蜘蛛池或多域名运营，也要注意：蜘蛛池不能代替站内链接质量。它最多增加蜘蛛来访频次，但最终决定页面是否被持续抓取的，还是页面本身的结构、响应速度和内容价值。
链接放在哪里，决定了蜘蛛先看到什么、认为什么更重要。先理顺导航和正文链接，再考虑页脚和侧边栏，通常比堆链接更有效。