入口頁做到几十上百個之後，很少有人再逐個去看它們長什么样。但從外部观察者的角度，這些頁面之間可能高度相似：同一套模板、同一種 URL 規律、同一台服務器、同一段頁脚。相似度本身不是問题，問题在于它會把一批頁面绑在一起被看待——一個表現不好，可能牵连其他。
相似度是怎么被形成的
相似不是單一维度，而是多個信号叠加的结果。常见的几類：
- 模板层：導航、侧栏、頁脚、评论框、版權信息完全一致，甚至 HTML 注释里還留着同一套生成标记。
- 内容层：标题套同一句式，首段来自同一個来源，發布時間集中在同一分钟。
- 结构层：URL 是连續 ID 或同一目錄下递增的 slug，层級深度一模一样。
- 網絡层：同一 IP、同一 C 段、同一解析商，或者一張證书覆盖了全部域名。
- 资源层：共用同一套統計代碼、同一張 CDN 图片、同一個第三方脚本域名。
單獨看每一條都不致命，叠在一起就會形成很明顯的批量特征。
模板相似难以避免，内容重复可以避免
入口頁通常由同一套程序生成，框架相同是正常的。真正容易出問题的是内容层面的完全一致：同一段“網站简介”出現在几百個頁面上，同一篇正文只換了标题，時間戳全部相同。這類重复比模板相似更容易被识別，也更容易處理。建议先把正文来源分開，让每個入口頁至少有自己的一段獨立文字，哪怕只有两三句。
URL 结构上的批量痕迹
连續编号、固定長度、同一层級，是最直观的批量信号。調整时不必刻意打乱到毫無規律，那样反而增加维護成本。可行的做法是：让目錄层級有變化，參數和静態路径混用，编号不连續。前提是每個 URL 仍然能被正常解析，不要為了“不一样”而造出無意义的地址。
主机與網絡层的關联
同一 IP 或同一 C 段下的多個域名，天然會被放在一起观察。一張證书覆盖大量域名、共用同一套 DNS 解析、甚至同一個註冊信箱，都會增加集中度。這里不需要追求完全分散，但要避免所有入口頁都压在同一個出口上。可以定期检查：解析记錄是否集中、證书 SAN 列表里是否有不该出現的域名、頁面里是否残留同一套統計 ID。
分散的目的是让每個入口頁有獨立存在的理由，而不是把它伪装成別的站点。伪装带来的维護成本和不确定性，通常高于它解决的問题。
一套可执行的自查顺序
- 抽样對比标题和首段，看是否存在成批的固定句式。
- 取一段正文做文本比對，確認没有整段复用。
- 检查時間、作者、分類等字段是否全部雷同。
- 查看 HTML 源碼里的注释、頁脚、統計代碼是否一致。
- 核對主机、解析和證书的集中程度。
- 最後才考虑模板结构的微調，因為它的收益通常最小。
常见誤区
- 以為換一套模板就解决了全部問题，忽略了正文和時間的重复。
- 以為把 IP 分散開就萬事大吉，内容和结构仍然一模一样。
- 追求每個入口頁“完全不同”，導致维護成本失控，最後没人愿意更新。
- 一次性大規模調整，之後無法判断是哪一項改動起了作用。
怎么判断調整有没有效果
相似度是概率問题，不是開關。比較稳妥的做法是分批調整，並记錄每次調整前後蜘蛛的回訪次數、抓取頁面數和新頁面被發現的速度。如果某一批入口頁在調整後回訪更稳定，可以把這個做法推廣到下一批。反過来，如果變化不明顯，也不必把相似度当成唯一的解释——抓取表現還受連結位置、頁面响應速度、内容更新频率等因素影响。
規模越大，入口頁之間的“長相”就越值得定期看一眼。把它当成一項例行的巡检工作，比事後补救要省力得多。