做内链的时候，很多人只关心“有没有链过去”，很少关心“链了几次”。一个栏目页里，同一篇文章可能同时出现在导航下拉菜单、面包屑、正文推荐区、侧栏热榜和页脚。对抓取器来说，这些链接都能走通，但它们的意义并不相同。重复链接本身不是错误，问题在于重复得没有信息量，还把页面的链接预算和路径判断搅乱了。
重复链接能走通，但代价在生产端
解析一个链接和解析十个指向同一地址的链接，抓取器付出的成本完全不一样。多数抓取器会对同一页面内的相同 URL 做去重，第一次出现之后的通常不再重复入队，但“去重”这个动作本身也要消耗解析资源。
抓取器视角下的三种处理
- 链接去重：同一页内相同 URL 一般只算一次，后面的多半被忽略。
- 锚文本合并：多个锚文本指向同一地址时，判断该页主题会参考这些文字，但“点击查看更多”这类文本贡献很低。
- 路径记录：从导航进入和从正文进入，蜘蛛记录的入口来源不同，这会影响它对页面重要程度的判断。
重复链接挤占的是什么
页面上能承载的链接数量是有限的。当同一批 URL 反复出现，被占掉的其实是新 URL 的位置。
- 页面可解析链接总数被老内容占满，新发布的地址排在很后面。
- 锚文本信号被稀释，一篇讲“服务器响应”的文章如果被十条“详情”链着，主题判断会更模糊。
- 蜘蛛在页面里绕圈，实际推进的路径变短。
哪些位置的重复值得保留
并不是所有重复都要清理。导航和面包屑属于站点结构的一部分，重复是有必要的。
- 导航与面包屑：保留，它们承担的是层级表达，不是引流。
- 侧栏热榜：限制条数，最好和当期更新内容相关，别做成常年不变的固定列表。
- 标签云与聚合页：控制数量和时效，过期标签要么合并要么下线。
- 页脚全站链接：只放必要的入口，不要把所有栏目再抄一遍。
整理顺序
- 先统计：抓取自己站点，统计单页中同一 URL 的出现次数。
- 挑出出现四次以上的 URL，这些是重点对象。
- 逐个判断：哪些位置是必要的结构入口，哪些只是“顺手带的”。
- 删掉没有信息量的重复，保留锚文本不同、能补充语义的入口。
- 改完后对照服务器日志，看这些 URL 的实际抓取路径有没有变化。
重复链接不会增加权重，它只会让蜘蛛在同一个页面里多走几步。真正决定 URL 能不能被发现的，是路径是否清晰、是否指向新内容。
和内链结构放在一起看
重复链接是内链结构的一种表现形式。核心页面多链几次是合理的，首页、栏目页这类枢纽本身就该有多个入口；但如果一个内容页在一页里被链了十次，而新页面一次都没出现，那说明链接分布出了问题。调整时不必追求“链接越少越好”，要看每个链接是否带着信息。
一个简单的自查清单
- 同一页里同一 URL 是否超过三次？
- 重复的链接是否带着不同的锚文本？
- 侧栏和页脚的推荐是否长期不更新？
- 列表页是否对同一地址用了图片加标题双链？
- 新 URL 在页面中的位置，是否被老内容挤到了很后面？
这些问题不需要一次全部解决。先把一页里出现次数最多的那批 URL 理一遍，再观察日志里的抓取路径有没有变化，比大范围重构内链更容易看到结果。