模板重复度为什么值得单独拿出来看
批量做入口页时，最省事的做法是套一个模板，把标题和链接换掉就上线。数量少的时候看不出问题，一旦入口页上百上千，蜘蛛抓到的就是大量结构相同、正文相似的页面。抓取资源是有限的，蜘蛛在相似页面上花的时间越多，真正需要被发现的链接就越容易被挤掉。
这里说的重复度不是指复制粘贴，而是页面之间在结构、文本、链接排布上的相似程度。它可以是显性的，也可以是隐性的。
重复度通常从哪几个地方来
HTML 骨架完全一致
导航、侧栏、页脚、免责声明这些块如果每个页面都一样，蜘蛛解析时看到的 DOM 结构就高度趋同。正文区域如果只换几行字，整页的特征就很接近。
文本内容来自同一套词库
用变量替换生成的段落，句子结构、连接词、段落长度往往是一个模子。即使每页词汇不同，语言层面的相似度仍然很高，读起来也像同一段话换了几个名词。
链接组合缺少变化
一个入口页挂十条链接，如果每页的锚文本格式、链接位置、排序方式都一样，蜘蛛跟进时的路径就重复，等于把同一张地图画了很多遍。
怎么判断入口页之间的重复度
- 抽 5 到 10 个页面，去掉导航和页脚，只对比正文，看句子结构是否雷同
- 统计正文长度分布，如果集中在同一个区间，说明是模板化生成的
- 看链接区块的位置和数量是否每页一致，锚文本是否同一种格式
- 用文本相似度工具跑一遍，关注成对相似度明显偏高的页面
- 从抓取日志看蜘蛛在单页的停留时间和抓取频次，异常一致也是信号
降低重复度的可操作做法
- 骨架保留，核心区变化。导航和页脚可以统一，这是站点结构的一部分；但正文区的模块顺序、段落长短、小标题层级可以每页不同。
- 内容来源混合。手写一部分，改写一部分，采集后重组的再一部分，不同来源的页面天然差异更大。
- 链接排布打散。同一批目标链接，不要每页都用同样的顺序和锚文本，可以分组、换位置、调整每条链接周围的那句话。
- 控制模板变量。标题模式不要永远是关键词加后缀，可以几种句式轮换，段落开头也不必都是同一类引导语。
- 留一点不容易批量生产的内容。比如一句编辑备注、一个具体的更新时间描述，这类东西反而能拉开页面之间的差距。
别走到另一个极端
为了降低重复度，把每个入口页都做成完全不同的风格，维护成本会失控，也没有必要。蜘蛛判断的是页面是否有独立价值，不是页面是否长得不一样。骨架统一、内容有区别，通常比每页都重做更实际。
另外，差异化不等于堆词。把关键词换着位置塞，或者用同义词机械替换，文本相似度可能降了一点，可读性反而更差，用户和蜘蛛都不会喜欢。
什么时候该停下来检查
如果发现新加的入口页抓取情况明显不如早期页面，或者蜘蛛反复抓同一批页面却不深入，可以先从模板重复度查起。把抽样对比、链接分布、正文长度这三项过一遍，通常能找到方向。
入口页的重复度不是一个有或无的问题，而是一个程度问题。目标是让每页有自己的一点信息，而不是让每页都变成孤岛。