很多人搭蜘蛛池时把精力放在入口頁怎么生成、連結怎么放，却很少管一件事：同一個 URL 到底被放進去過几次。重复投放是消耗抓取预算最隐蔽的方式之一——它不會报错，你只會在日誌里看到蜘蛛反复訪問同一個地址，而新目标頁迟迟等不到訪問。
一、先分清“重复”的几種情况
很多时候你以為放的是新連結，在蜘蛛眼里其實是同一個地址：
- 參數顺序不同：?a=1&b=2 和 ?b=2&a=1 通常會被归一化成同一個地址。
- 大小寫與尾斜杠：/Page 與 /page、/list 與 /list/ 是否算同一頁，取决于服務器配置和規范化設定。
- 协议與主机名：http 與 https、带 www 與不带 www，如果没有统一跳轉，可能被当成两個站点来處理。
- 跟踪參數：utm_source 這類參數不改變頁面内容，却會生成一批看起来“新”的地址。
二、重复投放到池子里，實际會發生什么
蜘蛛池的作用是提供入口和路径，它本身不會替你判断哪些地址已经放過了。重复投放的代價主要体現在：
- 抓取预算被摊薄：蜘蛛在同一個地址上花的時間多了，分给新目标頁的自然就少。
- 日誌噪音變大：統計里的抓取量掺入大量重复訪問，容易誤判為“放量很有效”。
- 入口頁價值被稀释：多個入口頁指向同一地址未必是坏事，但如果入口頁本身质量一般，只是把重复地址又堆了一遍，收益相当有限。
- 频次異常：短時間内同一批地址密集出現在不同入口頁，部分站点可能触發频率限制或临时降频。
需要說明的是，抓取预算並不是一個固定額度，站点质量、更新频率、响應速度都會影响它。但重复投放确實是在用同一份预算做重复的事，能省則省。
三、哪些情况值得再放一次
去重不等于永不再放，下面几種回放是有意义的：
- 目标頁發生了實质性更新，希望蜘蛛重新抓取。
- 上一次抓取返回超时、5xx 或空内容，属于失敗重试。
- 目标頁長期没有訪問记錄，需要借新的入口頁再给一條路径。
- 入口頁整体下架或換域，需要在新的入口体系里重建路径。
四、去重清單怎么维護
不需要复杂的系統，一張表就能管起来：
- 入库前做一次 URL 归一化：统一协议、主机名、大小寫，去掉跟踪參數，统一尾斜杠規則。
- 记錄每個 URL 的首次投放時間、最近投放時間，以及關联過的入口頁數量。
- 记錄蜘蛛最後一次訪問的時間與狀態碼，区分“放過了”和“抓成功了”。
- 设定回放门槛，例如距上次投放超過一個抓取周期、狀態為失敗、或内容有更新。
五、节奏上的一点建议
與其一次性把同一批 URL 塞進大量入口頁，不如分批投放，每批留出观察時間。看到日誌没動静就繼續加量、繼續重复放，是很容易陷入的循环：抓取量看起来涨了，但涨的是重复訪問，新頁面依然没人来。先確認目标頁本身能否正常訪問、入口頁是否被正常發現，再考虑是否回放。
去重的目的不是限制投放，而是让每一次投放都對應一次有價值的發現机會。