做内鏈的时候，很多人只關心“有没有鏈過去”，很少關心“鏈了几次”。一個栏目頁里，同一篇文章可能同时出現在導航下拉菜單、面包屑、正文推荐区、侧栏热榜和頁脚。對抓取器来说，這些連結都能走通，但它們的意义並不相同。重复連結本身不是错誤，問题在于重复得没有信息量，還把頁面的連結预算和路径判断搅乱了。
重复連結能走通，但代價在生产端
解析一個連結和解析十個指向同一地址的連結，抓取器付出的成本完全不一样。多數抓取器會對同一頁面内的相同 URL 做去重，第一次出現之後的通常不再重复入队，但“去重”這個動作本身也要消耗解析资源。
抓取器视角下的三種處理
- 連結去重：同一頁内相同 URL 一般只算一次，後面的多半被忽略。
- 锚文本合並：多個锚文本指向同一地址时，判断该頁主题會參考這些文字，但“点击查看更多”這類文本贡献很低。
- 路径记錄：從導航進入和從正文進入，蜘蛛记錄的入口来源不同，這會影响它對頁面重要程度的判断。
重复連結挤占的是什么
頁面上能承载的連結數量是有限的。当同一批 URL 反复出現，被占掉的其實是新 URL 的位置。
- 頁面可解析連結總數被老内容占满，新發布的地址排在很後面。
- 锚文本信号被稀释，一篇讲“服務器响應”的文章如果被十條“詳情”鏈着，主题判断會更模糊。
- 蜘蛛在頁面里绕圈，實际推進的路径變短。
哪些位置的重复值得保留
並不是所有重复都要清理。導航和面包屑属于站点结构的一部分，重复是有必要的。
- 導航與面包屑：保留，它們承担的是层級表達，不是引流。
- 侧栏热榜：限制條數，最好和当期更新内容相關，別做成常年不變的固定列表。
- 标簽云與聚合頁：控制數量和时效，過期标簽要么合並要么下线。
- 頁脚全站連結：只放必要的入口，不要把所有栏目再抄一遍。
整理顺序
- 先統計：抓取自己站点，統計單頁中同一 URL 的出現次數。
- 挑出出現四次以上的 URL，這些是重点對象。
- 逐個判断：哪些位置是必要的结构入口，哪些只是“顺手带的”。
- 删掉没有信息量的重复，保留锚文本不同、能补充语义的入口。
- 改完後對照服務器日誌，看這些 URL 的實际抓取路径有没有變化。
重复連結不會增加權重，它只會让蜘蛛在同一個頁面里多走几步。真正决定 URL 能不能被發現的，是路径是否清晰、是否指向新内容。
和内鏈结构放在一起看
重复連結是内鏈结构的一種表現形式。核心頁面多鏈几次是合理的，首頁、栏目頁這類枢纽本身就该有多個入口；但如果一個内容頁在一頁里被鏈了十次，而新頁面一次都没出現，那說明連結分布出了問题。調整时不必追求“連結越少越好”，要看每個連結是否带着信息。
一個简單的自查清單
- 同一頁里同一 URL 是否超過三次？
- 重复的連結是否带着不同的锚文本？
- 侧栏和頁脚的推荐是否長期不更新？
- 列表頁是否對同一地址用了图片加标题双鏈？
- 新 URL 在頁面中的位置，是否被老内容挤到了很後面？
這些問题不需要一次全部解决。先把一頁里出現次數最多的那批 URL 理一遍，再观察日誌里的抓取路径有没有變化，比大范围重构内鏈更容易看到结果。