很多人搭蜘蛛池时把精力放在入口页怎么生成、链接怎么放，却很少管一件事：同一个 URL 到底被放进去过几次。重复投放是消耗抓取预算最隐蔽的方式之一——它不会报错，你只会在日志里看到蜘蛛反复访问同一个地址，而新目标页迟迟等不到访问。
一、先分清“重复”的几种情况
很多时候你以为放的是新链接，在蜘蛛眼里其实是同一个地址：
- 参数顺序不同：?a=1&b=2 和 ?b=2&a=1 通常会被归一化成同一个地址。
- 大小写与尾斜杠：/Page 与 /page、/list 与 /list/ 是否算同一页，取决于服务器配置和规范化设置。
- 协议与主机名：http 与 https、带 www 与不带 www，如果没有统一跳转，可能被当成两个站点来处理。
- 跟踪参数：utm_source 这类参数不改变页面内容，却会生成一批看起来“新”的地址。
二、重复投放到池子里，实际会发生什么
蜘蛛池的作用是提供入口和路径，它本身不会替你判断哪些地址已经放过了。重复投放的代价主要体现在：
- 抓取预算被摊薄：蜘蛛在同一个地址上花的时间多了，分给新目标页的自然就少。
- 日志噪音变大：统计里的抓取量掺入大量重复访问，容易误判为“放量很有效”。
- 入口页价值被稀释：多个入口页指向同一地址未必是坏事，但如果入口页本身质量一般，只是把重复地址又堆了一遍，收益相当有限。
- 频次异常：短时间内同一批地址密集出现在不同入口页，部分站点可能触发频率限制或临时降频。
需要说明的是，抓取预算并不是一个固定额度，站点质量、更新频率、响应速度都会影响它。但重复投放确实是在用同一份预算做重复的事，能省则省。
三、哪些情况值得再放一次
去重不等于永不再放，下面几种回放是有意义的：
- 目标页发生了实质性更新，希望蜘蛛重新抓取。
- 上一次抓取返回超时、5xx 或空内容，属于失败重试。
- 目标页长期没有访问记录，需要借新的入口页再给一条路径。
- 入口页整体下架或换域，需要在新的入口体系里重建路径。
四、去重清单怎么维护
不需要复杂的系统，一张表就能管起来：
- 入库前做一次 URL 归一化：统一协议、主机名、大小写，去掉跟踪参数，统一尾斜杠规则。
- 记录每个 URL 的首次投放时间、最近投放时间，以及关联过的入口页数量。
- 记录蜘蛛最后一次访问的时间与状态码，区分“放过了”和“抓成功了”。
- 设定回放门槛，例如距上次投放超过一个抓取周期、状态为失败、或内容有更新。
五、节奏上的一点建议
与其一次性把同一批 URL 塞进大量入口页，不如分批投放，每批留出观察时间。看到日志没动静就继续加量、继续重复放，是很容易陷入的循环：抓取量看起来涨了，但涨的是重复访问，新页面依然没人来。先确认目标页本身能否正常访问、入口页是否被正常发现，再考虑是否回放。
去重的目的不是限制投放，而是让每一次投放都对应一次有价值的发现机会。