入口页做批量生成时，最省事的做法往往是套一个模板、换几个变量就上线。短期看不出问题，页面数量堆上去之后，抓取效果却常常不如预期。原因通常不在蜘蛛池本身，而在这些页面彼此太像了。
为什么“像”会成为一个问题
搜索引擎对页面价值的判断，一部分来自内容是否提供了新的信息。当几十上百个入口页的段落顺序、句式结构、内链位置几乎一致，只有城市名或关键词不同时，这些页面在算法眼里更像同一个页面的多个副本。结果可能是：一部分被抓取，其余长期停留在“已发现未抓取”，或者被抓取后很快从索引中掉出去。
需要说明的是，模板化本身不是错误。用模板保证结构统一、降低维护成本是合理的，问题出在模板的变量密度太低，以及变量替换的位置过于集中。
判断相似度的几个维度
- 标题与首段：如果只有关键词不同，其余文字完全一致，这通常是最容易被识别的部分。
- 正文字段：段落数量、每段长度、句式是否完全对齐。
- URL 结构：参数顺序、目录层级、命名规则是否机械重复。
- 内链与锚文本：链接指向、锚文本是否每次都落在同一位置、用同一批词。
- 页面外框：页头页脚、侧栏模块、广告位是否完全一致。
前两项影响最大，后三项属于辅助信号。实践中不必追求每一项都不同，但要避免所有维度同时高度一致。
变量替换的常见做法
把变量池做厚
与其只替换一个关键词，不如准备多组可选内容：不同的开头句式、不同的段落顺序、不同的举例角度。每组合并时随机抽取，人工不干预。这样即使模板相同，组合出来的页面差异也会明显一些。
让差异落在“有效位置”
把变量集中放在页脚或侧栏，作用有限；放在标题、首段、H2 之下的第一句，效果会更直接。因为蜘蛛和算法对页面主体内容的判断，主要集中在这几处。
控制同一模板下的页面数量
一个模板配少量变量池，能支撑的页面数量是有限的。超过这个量，相似度必然上升。与其硬撑，不如把模板拆成几个分支，各自覆盖一部分场景。
上线前后的去重检查
- 抽样对比：随机抽 10 到 20 个页面，把正文去掉变量后对比，看剩下的文字是否几乎一样。
- 长度分布：统计各页面正文字数，如果集中在某一个数值附近，说明结构过于固定。
- 结构指纹：把页面的 H 标签序列、内链位置提取出来做对比，重复率高就说明需要调整。
- 抓取观察：结合访问日志看抓取比例，如果只有固定几个页面被反复抓取，其余长期没有记录，往往和相似度有关。
已上线页面的维护
已经上线的入口页不必推倒重来，可以分批调整：优先改动那些长期未被抓取的页面，替换首段与部分段落，观察一段时间的抓取变化。改动频率不宜过高，避免页面长期处于“刚更新”的状态而被反复重新评估。
模板化与去重之间没有绝对标准，关键是把页面做得“各有各的信息”，而不是把同一段话换几个词重复很多遍。
总结下来，批量生成入口页时值得守住三点：变量池要够宽、差异要落在主体内容、同一模板下的页面数量要有上限。做到这三点，入口页才更有可能被当作独立页面来对待。