投放蜘蛛池时，很多人直接把浏览器地址栏里的链接复制到入口页，里面常常带着 utm_source、spm、sort、filter、sid 这类参数。对用户来说，这些参数只是访问路径的差异；对搜索蜘蛛来说，它们可能被当成不同的 URL。结果是同一份内容出现多个地址，URL 发现和抓取被分散。
要不要在投放前处理参数，不能一概而论，先看参数属于哪一类。
先分清三类常见的 URL 参数
1. 跟踪与营销参数
utm_*、gclid、fbclid、spm、from 这类参数通常只用于统计来源，不影响页面内容。同一个页面加不同跟踪参数，内容完全一样。这类参数建议在投放前去掉，投放干净的地址。
2. 排序、筛选和分页参数
sort、order、filter、price_range、page 这类参数会改变页面上展示的内容组合，可能生成大量排列组合。例如“颜色+尺码+排序”就能组合出几百个地址。这类页面不是完全没价值，但要控制数量，并且明确哪个版本是主要入口。
3. 会话与身份参数
sid、sessionid、token、uid 这类参数往往每个用户不同，甚至每次访问都变。对搜索蜘蛛来说，这类地址几乎无法稳定抓取，也不适合作为投放目标。投放前应尽量去掉，或让服务器对蜘蛛返回不带会话参数的版本。
参数不处理，会带来哪些实际问题
- 同一内容对应多个 URL，抓取请求被拆散，单个地址得到的抓取次数变少。
- 组合参数页会占用抓取预算，让真正需要发现的新 URL 排队更久。
- 日志分析变难，你很难判断蜘蛛到底抓的是哪个版本。
- 如果参数页和主版本同时可访问，canonical 写错或缺失时，可能出现版本互相竞争。
- 带会话 ID 的地址被大量抓取，容易产生重复请求甚至触发风控。
抓取资源是有限的。参数页越多，单个目标 URL 能分到的抓取机会就越少，这不是单纯增加投放量能解决的问题。
投放前可以做的几步处理
- 只保留必要参数。打开目标页，把跟踪参数和会话参数删掉，确认内容仍然正常，再把干净地址写进入口页。
- 确认 canonical 指向。如果目标页有多个参数版本，页面上的 canonical 应指向你希望被采用的版本，投放时就填这个版本，避免填 canonical 之外的地址。
- 用 robots.txt 挡明显无意义的参数。例如只带 sid 的地址，可以用规则挡掉。但要注意，robots.txt 只控制抓取，不控制索引；重要页面不要只靠它来去重。
- 控制筛选页的组合数量。能静态化就静态化；不能静态化时，限制可选的筛选项，或者对低价值组合使用 noindex,follow，并保证主列表可被抓取。
- 入口页链接直接指向最终地址。不要先跳到带参数的中间地址，也不要链到带 # 锚点的地址——锚点部分不会发送给服务器。
哪些参数可以保留
- 参数决定页面内容，例如商品 ID、文章 ID、语言版本。
- 参数是页面唯一区分方式，去掉后无法定位内容。
- 参数数量少、组合稳定，且服务器能稳定返回同一版本。
这类地址本身就是有效的目标 URL，不需要为了看起来干净而强行改写。
投放后怎么检查参数有没有造成浪费
投放一段时间后，可以从几个地方回看：
- 看服务器日志中搜索蜘蛛请求的地址，统计带参数版本和干净版本的比例。
- 抽查入口页里链接的可访问性，确认返回 200，没有跳转到登录页或错误页。
- 抽查目标页的 canonical 和 meta robots，确认和你投放的意图一致。
- 对比处理参数前后，同一批目标 URL 的抓取频次和状态码变化。
如果发现大量抓取集中在无意义的参数版本上，优先回到入口页和站点规则上调整，而不是继续增加投放量。
两个常见误区
误区一：用 robots.txt 屏蔽参数就等于不索引。被 robots.txt 挡住的 URL 仍可能出现在搜索结果里，只是没有摘要。真正重要的页面，应该用 canonical 或 noindex 明确表达意图，而不是只靠屏蔽抓取。
误区二：把所有参数都去掉。有些页面的参数就是内容的一部分，去掉后用户看不到对应信息，蜘蛛抓到的也不是你想要推广的版本。处理参数的目标是减少重复，不是把页面改坏。
简单说，投放前先判断参数类型：跟踪参数和会话参数尽量去掉，筛选分页参数控制数量并明确主版本，内容型参数可以保留。把这一步做完再投放，URL 发现会更集中，抓取日志也更容易看懂。