蜘蛛判断链接价值的依据
蜘蛛从入口页面开始解析 HTML，遇到 a 标签就放进待抓队列。但队列不是先进先出：链接在页面中的位置、周围的文字、以及这条链接是否在全站重复出现，都会影响它被跟进的先后顺序。同一个目标 URL，放在主导航和放在页脚最底部，蜘蛛的处理态度并不相同。
理解这一点，比单纯追求“多放几个内链”更有用。因为抓取量是有限的，链接位置决定了这些量最后落到哪些页面上。
导航链接：覆盖广，但容易被稀释
主导航通常在每个页面都出现，是蜘蛛进入各频道最稳定的通道。它的好处是确定性强，新栏目上线后不用等太久就能被抓到。问题在于全站重复：如果导航里塞了上百条链接，再叠加下拉菜单和二级栏目，每条链接能分到的抓取机会就被摊薄了。
- 导航保持层级清晰，一级栏目控制在个位数，二级入口放到该栏目的落地页里。
- 需要全站暴露的入口尽量合并，不要一个功能拆成好几条重复链接。
- 导航用真实链接，避免只靠 JS 事件跳转，否则蜘蛛可能拿不到地址。
正文链接：上下文最强的一种
正文中的内链，通常被蜘蛛视为相关性最强的信号之一：链接前后的文字说明了目标页面讲什么，目标页面和当前页面主题接近。做 URL 发现时，正文链接往往比导航链接更值得投入。
实践上，写文章时顺手链到站内相关的旧文章、详情页、分类页，比在页脚堆一堆入口更有效。锚文本尽量描述目标内容，不要通篇都是“点击这里”“查看更多”这类没有信息量的写法。
页脚与侧栏：全站链接的隐藏成本
页脚和侧栏是链接最容易失控的地方。标签云、最新文章滚动、友情链接、归档月份、热门推荐，每一项单独看都合理，叠在一起可能变成几百上千条全站链接。
全站链接的数量，直接决定了蜘蛛把多少抓取量花在重复路径上。
常见的处理方式：
- 页脚只保留必要的固定入口，如关于、联系方式、隐私政策。
- 标签云限制展示数量，或者只在标签聚合页内展开，不做全站输出。
- 归档、日历类入口放在单独页面，不放进每页的侧栏。
- 确实需要全站展示的板块，用 HTML 链接输出，不要靠接口异步加载。
把链接位置和抓取日志对起来看
判断链接布局是否合理，光看页面不够，要拿抓取日志验证：
- 统计蜘蛛访问集中在哪些页面。如果大量请求落在无内容的列表页、标签页，说明全站链接把抓取量带偏了。
- 检查新发布的详情页多久第一次被访问。如果长期只有 Sitemap 推动、没有内链带来的访问，说明正文内链偏少。
- 观察同一批页面的抓取间隔是否稳定。波动很大时，同时排查服务器响应时间和全站链接数量。
Sitemap 能保证 URL 被看见，内链决定 URL 被多快、多频繁地走到。两者并不冲突：Sitemap 兜底覆盖，内链负责导流和排序。至于服务器稳定性，它是前提条件——响应经常超时的话，蜘蛛的整体抓取节奏会被调慢，链接放得再好也发挥不出来。
一个简单的自查顺序
- 数一数每个页面输出多少条链接，其中多少是全站重复的。
- 确认内容页有没有至少一到两条来自正文的内链。
- 看导航里是否存在多余的重复入口。
- 用日志对比“内链带去的抓取”和“Sitemap 带去的抓取”各占多少。
调整之后不必期待立刻见效。蜘蛛的抓取节奏有自己的周期，通常需要几周时间才能在日志里看出趋势。与其反复改动，不如先把链接位置固定下来，再持续观察。