做投放、做活动的时候，链接后面挂几个参数是很常见的事：utm_source、from、ref、share_id……对人来说没什么，但对搜索引擎来说，每一个不同的参数组合都可能被当成一个新地址。如果站点本身没有任何处理，这些临时地址被爬虫发现之后，就可能大量进入待抓取队列，分散抓取资源，也容易在索引里留下重复内容。
这里聊的是自查思路：先知道自己站上有哪些带参数的地址在流通，再决定哪些该放行、哪些该合并、哪些该拦住。
一、先盘点链接的来源
很多参数不是自己加上的，而是别人加上来的。自查前可以先分几类看：
- 自己的投放链接：广告平台、短信、邮件、二维码、公众号菜单等自动附加的参数。
- 站内分享功能：一键分享到社交平台时生成的带参地址。
- 第三方工具：统计、客服、联盟、比价插件等挂上的标识。
- 筛选与排序：列表页的排序方式、价格区间、页码等交互产生的地址。
- 历史遗留：早年做过的活动链接、短链跳转后的地址。
把这些列出来，才能判断哪些是真正需要保留的入口，哪些只是过程产物。
二、参数可能带来的麻烦
- 地址数量膨胀：参数顺序不同、有无空参数、大小写不同，都会生成一个看起来不一样的地址。
- 抓取资源被分散：爬虫花在临时地址上的时间，本该用在正式内容页上。
- 内容重复：同一批文章或商品，因为参数不同被当成多个页面。
- 排查困难：后台看到一堆相似地址，分不清哪个是主入口。
三、自查清单
- 从服务器访问日志里捞出带问号的请求，按参数名分组，看哪些出现频率高。
- 确认每个高频参数的作用：是必要的功能参数，还是纯统计标识。
- 检查这些地址的返回内容：是真的有不同内容，还是同一份内容的多种写法。
- 查看当前是否已经有规则在处理，比如 robots.txt、canonical、跳转，规则是否真的生效。
- 看后台抓取统计和索引情况，确认是否存在大量相似地址。
四、常见处理方式
1. 能不用就不用
如果参数只是为了统计，优先考虑在跳转或脚本层面处理，让用户和爬虫最终看到的都是干净地址。这是最省事的做法。
2. 统一到主地址
对于功能上确实需要参数、但内容基本一致的页面，可以指定一个不带参数或只带必要参数的规范地址，让多个写法归到一个主地址上。注意规范地址本身必须可访问，内容要与当前页面一致。
3. 用 robots.txt 拦住无意义的组合
像排序、会话、时间戳这类参数，可以在 robots.txt 里做模式拦截。书写时注意不要误伤正常页面，改完先在测试环境验证规则匹配的结果。
4. 服务器端做跳转
对已经确定的临时入口，用一个 301 或 302 把它送到正式地址，比让两个地址同时存在更干净。跳转链不要太长，最好一步到位。
五、投放前定个约定
与其事后清理，不如在流程上减少来源。可以在内部约定几条：
- 投放链接统一走一个中间跳转页，参数只在跳转里使用。
- 同一活动的参数命名固定，不随手改大小写和顺序。
- 新上线的筛选功能，提前和开发确认会不会生成可被爬取的地址。
- 定期把带参地址的日志统计拉出来看一眼，发现异常组合及时处理。
追踪参数本身没有错，问题在于没人管。把它当成一次普通的地址治理：盘点、判断、处理、复查，走一遍流程就够了。
最后提醒一句：处理之后不要指望马上见效，抓取和索引的更新有自己的节奏。先确认规则正确，再观察一段时间，用日志和后台数据来验证效果，而不是凭感觉下判断。