很多站点的页面是批量生成的：同一个模板，换掉标题、几张图、几行参数，就产出一批 URL。对用户来说这些页面可能各有用途，但对搜索引擎来说，剥离导航、页脚、侧栏之后，剩下的差异可能非常小。当公共部分占了大半，页面的主体信息就不足以支撑它被单独索引。
为什么要先剥掉公共部分
搜索引擎判断一个页面时，会先尝试识别主体内容区，把全站通用的导航、版权、备案、推荐位、客服入口等视为样板文字。同一模板下大量页面的这些部分完全一致，真正能区分它们的只有正文那一块。如果这块太短、太相似，或者只是关键词的排列组合，页面之间就容易被视为近似重复，落到“已抓取，尚未编入索引”或“重复网页，系统选择的规范网页与用户指定的不同”这类状态里。
这里要分清两件事：页面能被抓取，不代表它的内容足以被单独收录；被收录过一段时间，也不代表它会一直留在索引里。内容价值的评估是持续发生的。
三种高频的模板重复场景
列表页与聚合页
标签页、分类页、站内搜索结果页往往只有条目标题在变，其余都是导航和筛选框。这类页面的价值在于帮助用户和蜘蛛发现下级 URL，但如果它自身没有独特说明，被索引的意义就有限。可以让真正有入口价值的列表页保留索引，其余通过链接结构收敛。
多地区、多参数落地页
同一套服务文案复制到几十个城市、只替换地名，是很典型的重复。话题词覆盖看似很广，实际每页的有效信息很少。更稳妥的做法是把地区差异写成真实内容：当地的服务范围、案例、响应时间与联系方式，而不是只换两个字。
商品与变体页
颜色、尺寸、套餐不同但描述完全一致时，容易互相竞争。可以只让有独立描述或独立库存状态的变体单独成页，其余的通过主版本页内的选项切换呈现，或者用 canonical 指向主版本。
怎么估计一页的独特占比
- 关掉样式与脚本，看正文在整页文字里的比例；如果去掉导航后只剩两三句话，这页大概撑不住。
- 随机取同模板的五个页面，把文字复制出来对比，看有多少段落是整段相同的。
- 用站内搜索定位同模板页面，观察它们是否成批地停留在“已抓取，尚未编入索引”。
- 查服务器日志，看这些 URL 的抓取频次与状态码变化，判断蜘蛛是否在减少回访。
可以落地的收口方式
- 先判断这页值不值得存在。如果它既没有独立信息，也不是必要的导航节点，就不要单独生成 URL。
- 给留下的页面补上真实差异。数据、说明、常见问题、来自用户的反馈，都比重复的形容词有用。
- 压缩公共区域的体积。把大段通用说明收到独立页面并用链接指向，页脚里的关键词堆砌删掉。
- 用 canonical 处理站内近似页。注意指向的目标页本身要能进索引，否则收口链条会断掉。
- 对确实不需要索引的页面用 noindex。noindex 是索引开关，不是抓取开关，别和 robots.txt 混用。
收录上的很多问题，最后都回到同一句话：这个 URL 有没有必要单独存在。答案是否定的时候，删掉、合并或收口，通常比继续优化更快。
最后提醒一句：处理模板重复不是把所有相似页面一刀切掉。分类页、分页、筛选页在站点结构里各有作用，关键是分清哪些需要被发现、哪些需要被索引。混在一起讨论，往往两头都做不好。