做蜘蛛池的人经常盯着“入口放了几个”，却很少盯着“每个入口在蜘蛛眼里其实长什么样”。一个本来很干净的页面，只要在投放时随手挂上 ?from=xxx、?utm_source=yyy 这样的尾巴，就会在抓取队列里变成另一条地址。
为什么一个页面会被拆成多条地址
搜索引擎判断两条 URL 是否相同，主要看完整地址字符串，而不是“内容看起来一样”。只要参数不同、顺序不同、大小写不同、结尾斜杠不同，它都可能被当成一条新地址先抓下来，再去判断内容是否重复。对蜘蛛池来说，这意味着你投入的一部分入口，实际抓的是同一个页面的不同副本。
蜘蛛池里最常见的几类参数
- 统计与来源标记：utm_source、utm_medium、from、ref、share，一般只用于分析，对页面内容没有影响。
- 会话与用户标识：sessionid、sid、uid、token，每个访客都可能不一样，蜘蛛抓一次就多一条地址。
- 排序与筛选：sort、order、filter、price_min，几个参数一组合，就能生成几百上千条变体。
- 分页与视图：page、p、view、list_type、mobile=1，常被用来区分列表页的不同状态。
- 调试与缓存：debug=1、test=1、preview=1、带时间戳的缓存参数，本来就不该被外部抓取。
这些参数会带来什么
- 抓取被分散：蜘蛛的抓取量是有限的，同一页面被抓十次，真正需要更新的页面就少抓了。
- 信号被摊薄：内链、外链和点击如果指向不同参数版本，等于把一份信号分成好几份。
- 判断变难：一些带参地址可能返回空列表或默认排序，甚至是内容稀薄的页面，蜘蛛很难判断哪条才是主地址。
- 日志变乱：排查问题时，满屏相似地址，很难分辨哪些是真正有价值的入口。
投放前先做一次地址统一
与其事后清理，不如在把 URL 放进蜘蛛池之前统一一次，成本低得多。
- 只投放规范地址：去掉统计、会话、排序等对内容没有影响的参数，保留必要的业务参数，比如详情页的 id。
- 固定一套规则：统一小写、统一是否带 www、统一结尾是否带斜杠、统一 http 或 https，规则定了就不要来回改。
- 页面加自引用 canonical：主地址指向自己，参数版本指向主地址，给蜘蛛一个明确的合并信号。
- robots.txt 处理纯参数路径：对确认没有内容价值、又容易被抓的参数路径做屏蔽，但别把有价值的筛选页一起挡住。
- 分页单独看待：分页通常不该全部指向首页 canonical，需要按分页逻辑单独处理。
已经带参数的历史地址怎么收尾
- 先看日志：观察这些地址有没有被稳定抓取、返回什么状态码，再决定保留、合并还是放弃。
- 能 301 就 301：参数版本如果确定不需要，可以跳到主地址；但别把有独立内容、有流量的页面强行合并。
- 让冷门参数地址自然淘汰：如果长期没有内链外链、蜘蛛也不来，放着不管通常问题不大。
- 别用大量 404 收场：短时间产生大量 404，容易让蜘蛛降低对整站的抓取意愿。
几个容易忽略的小地方
- 参数顺序不同可能算两条地址：?a=1&b=2 和 ?b=2&a=1 在某些系统里并不等价。
- 大小写敏感：服务端如果区分大小写，/Page 和 /page 就是两条。
- 尾斜杠差异：/list 和 /list/ 在很多服务器上是两条地址。
- 空参数：?from= 这种空值有时也会被当作独立地址。
蜘蛛池解决的是“让蜘蛛知道有这些地址”，并不解决“这些地址是不是同一个页面”。地址不统一，投放越勤，浪费越多。
小结
在把入口 URL 交给蜘蛛池之前，先花十分钟做一次参数清理和规则统一，通常比多买几个域名更划算。抓取量是有限的资源，把它花在不同页面上，才更接近做蜘蛛池的初衷。