模板重复度為什么值得單獨拿出来看
批量做入口頁时，最省事的做法是套一個模板，把标题和連結換掉就上线。數量少的时候看不出問题，一旦入口頁上百上千，蜘蛛抓到的就是大量结构相同、正文相似的頁面。抓取资源是有限的，蜘蛛在相似頁面上花的時間越多，真正需要被發現的連結就越容易被挤掉。
這里说的重复度不是指複製粘贴，而是頁面之間在结构、文本、連結排布上的相似程度。它可以是顯性的，也可以是隐性的。
重复度通常從哪几個地方来
HTML 骨架完全一致
導航、侧栏、頁脚、免责声明這些块如果每個頁面都一样，蜘蛛解析时看到的 DOM 结构就高度趋同。正文区域如果只換几行字，整頁的特征就很接近。
文本内容来自同一套词库
用變量替換生成的段落，句子结构、连接词、段落長度往往是一個模子。即使每頁词匯不同，語言层面的相似度仍然很高，讀起来也像同一段话換了几個名词。
連結组合缺少變化
一個入口頁挂十條連結，如果每頁的锚文本格式、連結位置、排序方式都一样，蜘蛛跟進时的路径就重复，等于把同一張地图画了很多遍。
怎么判断入口頁之間的重复度
- 抽 5 到 10 個頁面，去掉導航和頁脚，只對比正文，看句子结构是否雷同
- 統計正文長度分布，如果集中在同一個区間，說明是模板化生成的
- 看連結区块的位置和數量是否每頁一致，锚文本是否同一種格式
- 用文本相似度工具跑一遍，關注成對相似度明顯偏高的頁面
- 從抓取日誌看蜘蛛在單頁的停留時間和抓取频次，異常一致也是信号
降低重复度的可操作做法
- 骨架保留，核心区變化。導航和頁脚可以统一，這是站点结构的一部分；但正文区的模块顺序、段落長短、小标题层級可以每頁不同。
- 内容来源混合。手寫一部分，改寫一部分，采集後重组的再一部分，不同来源的頁面天然差异更大。
- 連結排布打散。同一批目标連結，不要每頁都用同样的顺序和锚文本，可以分组、換位置、調整每條連結周围的那句话。
- 控制模板變量。标题模式不要永遠是關鍵詞加後缀，可以几種句式轮換，段落開头也不必都是同一類引導语。
- 留一点不容易批量生产的内容。比如一句編輯备注、一個具体的更新時間描述，這類東西反而能拉開頁面之間的差距。
別走到另一個极端
為了降低重复度，把每個入口頁都做成完全不同的風格，维護成本會失控，也没有必要。蜘蛛判断的是頁面是否有獨立價值，不是頁面是否長得不一样。骨架统一、内容有区別，通常比每頁都重做更實际。
另外，差异化不等于堆词。把關鍵詞換着位置塞，或者用同义词机械替換，文本相似度可能降了一点，可讀性反而更差，用戶和蜘蛛都不會喜欢。
什么时候该停下来检查
如果發現新加的入口頁抓取情况明顯不如早期頁面，或者蜘蛛反复抓同一批頁面却不深入，可以先從模板重复度查起。把抽样對比、連結分布、正文長度這三項過一遍，通常能找到方向。
入口頁的重复度不是一個有或無的問题，而是一個程度問题。目标是让每頁有自己的一点信息，而不是让每頁都變成孤岛。