做蜘蛛池的人大多從一套模板起步：寫一個頁面框架，把标题、正文、内鏈做成變量，然後批量生成几百上千個入口頁。這样效率最高，但也最容易在同一個地方摔倒——模板铺得太開，入口頁之間除了几個词之外几乎一模一样。
模板复用本身不是問题，密度才是
爬虫並不排斥模板。正常網站也有大量同构頁面，比如商品列表頁和文章詳情頁，它們共享同一套布局，仍然能被正常抓取。真正的分界线在于：同一套模板生成的頁面，彼此之間的差异是否足以让爬虫把它們当成不同的頁面来處理。
只有導航和几個關鍵詞的空壳頁面，被讀到的信息量接近于零。這類頁面即使被訪問，也很难产生繼續爬取的動力。所以模板复用要控制密度：同一套模板生成的入口頁，宁可數量少一些、每頁信息量足一些。
复用過度會出現的几種情况
- 同一批入口頁的标题、描述、正文首段高度重合，爬虫抓几頁之後就能判断出整批頁面的结构，剩下的頁面不需要逐個细看。
- 頁面之間的内鏈指向同一批目标，形成大量重复的連結图谱，連結權重的分配被稀释。
- 一旦模板出問题，比如某個變量為空、某段 HTML 寫错，整批頁面一起出問题，排查和回滚都很麻烦。
- 维護成本被低估：几百個頁面同时更新一次，工作量遠超预期，最後往往放任不管。
差异该做在哪几個层次
比較有效的差异
- 主题差异：入口頁围绕的词和话题不同，正文内容自然不同，這是最根本的一层。
- 正文主体：不是換同义词，而是真的寫了不同的信息。哪怕每頁只有两三百字的原创描述，也比整段拼接强。
- 連結關系：不同入口頁指向的目标頁和内部互鏈不必完全一致，让連結结构呈現自然的分布。
- 頁面元素：發布時間、面包屑、相關推荐等内容，按批次或主题合理變化。
收益很低的差异
- 只把标题里的词序調換，正文完全一致。
- 用同义词库替換若干词匯，句子结构原封不動。
- 随机插入無意义的段落，或者堆砌關鍵詞。
- 為了看起来不一样，把内容拆成很多薄頁。
這些做法的共同問题是：改變的是字面，不是信息。爬虫和普通讀者一样，判断頁面有没有区別，看的是内容本身。
用模板时的几條實操建议
- 把模板分成几套，而不是一套打天下。不同主题、不同批次的入口頁用不同框架，成本不高，稳定性更好。
- 為每個變量建立一張清單，生成前先检查是否有空值、重复值和明顯不合理的组合。
- 每批頁面生成後抽样打開十几個，用浏览器實际看一眼，而不是只看代碼。
- 记錄每批頁面的生成時間、模板版本和投放時間，日後判断問题时有據可查。
- 控制單批規模，分批生成、分批投放，出問题时影响面更小。
两種常见的走偏
一種誤解是頁面越多越好，于是用一套模板無限複製，最後得到一堆结构相同、内容空洞的入口頁。另一種是把差异化理解成每頁都必须完全不同，结果手工编寫，成本失控。两者都不理想。更現實的做法是：结构复用，内容差异化，規模适度。
模板解决的是生产效率問题，不是内容质量問题。入口頁能不能被繼續抓取，最终還是取决于頁面上有没有值得讀的東西。