入口頁做批量生成时，最省事的做法往往是套一個模板、換几個變量就上线。短期看不出問题，頁面數量堆上去之後，抓取效果却常常不如预期。原因通常不在蜘蛛池本身，而在這些頁面彼此太像了。
為什么“像”會成為一個問题
搜尋引擎對頁面價值的判断，一部分来自内容是否提供了新的信息。当几十上百個入口頁的段落顺序、句式结构、内鏈位置几乎一致，只有城市名或關鍵詞不同时，這些頁面在算法眼里更像同一個頁面的多個副本。结果可能是：一部分被抓取，其余長期停留在“已發現未抓取”，或者被抓取後很快從索引中掉出去。
需要說明的是，模板化本身不是错誤。用模板保證结构统一、降低维護成本是合理的，問题出在模板的變量密度太低，以及變量替換的位置過于集中。
判断相似度的几個维度
- 标题與首段：如果只有關鍵詞不同，其余文字完全一致，這通常是最容易被识別的部分。
- 正文字段：段落數量、每段長度、句式是否完全對齐。
- URL 结构：參數顺序、目錄层級、命名規則是否机械重复。
- 内鏈與锚文本：連結指向、锚文本是否每次都落在同一位置、用同一批词。
- 頁面外框：頁头頁脚、侧栏模块、广告位是否完全一致。
前两項影响最大，後三項属于辅助信号。實践中不必追求每一項都不同，但要避免所有维度同时高度一致。
變量替換的常见做法
把變量池做厚
與其只替換一個關鍵詞，不如准备多组可選内容：不同的開头句式、不同的段落顺序、不同的举例角度。每组合並时随机抽取，人工不干预。這样即使模板相同，组合出来的頁面差异也會明顯一些。
让差异落在“有效位置”
把變量集中放在頁脚或侧栏，作用有限；放在标题、首段、H2 之下的第一句，效果會更直接。因為蜘蛛和算法對頁面主体内容的判断，主要集中在這几處。
控制同一模板下的頁面數量
一個模板配少量變量池，能支撑的頁面數量是有限的。超過這個量，相似度必然上升。與其硬撑，不如把模板拆成几個分支，各自覆盖一部分场景。
上线前後的去重检查
- 抽样對比：随机抽 10 到 20 個頁面，把正文去掉變量後對比，看剩下的文字是否几乎一样。
- 長度分布：統計各頁面正文字數，如果集中在某一個數值附近，說明结构過于固定。
- 结构指纹：把頁面的 H 标簽序列、内鏈位置提取出来做對比，重复率高就說明需要調整。
- 抓取观察：结合訪問日誌看抓取比例，如果只有固定几個頁面被反复抓取，其余長期没有记錄，往往和相似度有關。
已上线頁面的维護
已经上线的入口頁不必推倒重来，可以分批調整：優先改動那些長期未被抓取的頁面，替換首段與部分段落，观察一段時間的抓取變化。改動频率不宜過高，避免頁面長期處于“刚更新”的狀態而被反复重新评估。
模板化與去重之間没有绝對标准，關键是把頁面做得“各有各的信息”，而不是把同一段话換几個词重复很多遍。
總结下来，批量生成入口頁时值得守住三点：變量池要够宽、差异要落在主体内容、同一模板下的頁面數量要有上限。做到這三点，入口頁才更有可能被当作獨立頁面来對待。