做蜘蛛池的人常碰到一個現象：入口頁铺了几十個，日誌里蜘蛛确實来過，但翻来覆去只抓其中两三個，其余頁面像没被看见一样。除了連結權重和抓取预算，還有一個容易被忽略的原因——這些入口頁在蜘蛛眼里几乎是同一張脸。

蜘蛛怎么判断两個頁面“長得一样”

抓取和索引流程里通常有一段去重處理。它不是逐字比對整篇 HTML，而是先做模板剥离：把導航、頁脚、侧邊栏這些在所有頁面都出現的部分识別為样板内容，再對剩下的主体做指纹計算。常见做法包括分句哈希、重叠片段的相似度計算、SimHash 之類的近似匹配。如果两個頁面的主体指纹高度接近，系統會把它們归進同一個簇。

归簇之後會發生什么，取决于簇内頁面的质量和差异：

• 只保留少數代表頁繼續參與後續處理，其余被折叠；
• 抓取調度上，同一簇的頁面優先級下降，蜘蛛来得越来越少；
• 日誌上表現為“来過一次就再没出現”，或者只抓列表頁不抓後面的内容頁。

入口頁重复的几種常见来源

• 同一套模板套不同關鍵詞：标题換了，正文只有一两句话不同，其余完全一致。
• 采集後只做同义词替換：句子结构、段落顺序、标点位置几乎不變，近似匹配很容易命中。
• 連結列表頁高度雷同：頁面主体就是一堆連結，内容区没有實质文字。
• 參數不同内容相同：同一個頁面用不同參數生成多份，正文一模一样。

重复會带来什么實际影响

最直接的是抓取预算被浪費。蜘蛛在多個高度相似的頁面之間来回切換，能带走的有效信息却很少。其次是入口頁很难作為獨立頁面被處理，它作為“連結中轉站”的作用也會打折——如果中轉頁本身都没被好好抓取，後面的目标頁自然更难被發現。

判断重复度不要靠肉眼掃一遍标题。抽十几個頁面，把公共的头部、頁脚、侧栏去掉，只看剩下的正文部分。如果去掉之後每頁只剩几十個字，那基本就是模板在撑着頁面。

降低重复度的可行做法

让正文有真實的差异

不是換词，而是換信息。同一主题下可以分別從不同角度切入：一個頁面讲使用步骤，一個頁面讲常见错誤，一個頁面讲與其他方案的對比。每頁至少有一段是這頁獨有的、別處抄不走的文字。

控制模板的固定部分

導航、頁脚這些必须存在的元素尽量精简。固定区块占比越低，主体内容的差异就越容易被识別出来。也不要把大量關鍵詞堆在頁脚或侧栏，那部分很可能在去重阶段就被剥掉了。

數量與差异度要一起考虑

铺得越多，單頁可投入的差异化精力就越少，重复度自然上升。與其铺一百個几乎一样的入口，不如先做二三十個各有侧重、维護得過来的入口，观察日誌再决定是否扩量。

定期抽查，而不是定期新增

每隔一段時間從現有入口里随机抽一批，按上面的方法去掉模板後對比正文。發現某個批次高度雷同，優先處理這個批次，而不是繼續加新頁。

几個提醒

• 去重是近似判断，不是精确比對，所以“改了几個词”通常没用，“換了一段结构”才可能有差別。
• 連結列表型入口頁如果長期只有連結，可以补一小段說明文字，让頁面有主体内容。
• 不要為了降低重复度去堆無意义的随机文字，那會让頁面质量更差，對抓取没有帮助。
• 入口頁的存活率、可訪問性和内容差异度是同时起作用的，單看一項都判断不准。

把入口頁当成需要長期维護的頁面，而不是一次性的連結容器，重复度問题往往會在日誌里先暴露出来——前提是你愿意去比對，而不只是看蜘蛛来過几次。