栏目规划做得再清楚，站点也可能在另一条路上不断膨胀：参数化地址。站内搜索结果、筛选条件、排序方式、渠道跟踪参数，都能拼出成千上万个能正常打开的页面。它们对用户有用，但对抓取来说未必值得逐个走访。参数页不做区分，站内可抓取地址会迅速失控，真正需要更新的栏目页反而排在队伍后面。
按用途把参数页分成三类
处理方式取决于这个页面服务的是谁。先分类，再决定放行、收敛还是屏蔽。
站内搜索结果页
由用户输入的词拼出的结果页，内容随输入变化，理论上没有上限。这类页面重复度高，正文多是列表摘要，一般不主动邀请抓取。要注意屏蔽方式的差别：如果通过 robots.txt 禁止抓取，页面自身的 noindex 也就无从生效，因为抓取被拦在门外，指令根本读不到。两种手段选其一即可，不要同时用，又指望另一个照样起作用。
筛选与排序页
颜色、价格区间、地区、品牌这类筛选参数，背后可能确实对应真实需求。单维度、有稳定搜索量的筛选页可以保留，并让它的规范地址指向自身；多维度自由组合出来的页面，通常只需要保证用户能正常使用，不必全部交给蜘蛛。排序参数一般不改变内容集合，只是顺序不同，更适合做规范化处理，而不是单独保留一个地址。
跟踪与渠道参数
utm_source、from、ref、spm 这类参数不改变页面内容，只用于统计。它们既不该出现在站内链接里，也不该出现在站点地图中。放任不管的话，同一篇内容会因为渠道不同出现多个地址，每次分享都可能新增一个可抓取入口。
一份可执行的自查清单
- 从服务器访问记录里筛出带问号的请求，按参数名归类，找出出现次数最多的前十几个参数。
- 逐个确认：这个参数会改变页面主体内容吗？会改变标题吗？如果答案都是否，它大概率不该被单独抓取。
- 检查站内链接和导航，是否直接指向了带跟踪参数的地址。
- 检查站点地图，确认没有把参数页成批提交上去。
- 检查筛选页的规范地址，看看是不是每个组合都指向了自己，而不是统统指向主分类页。
- 确认规则之间没有冲突：robots.txt、noindex、规范地址三种手段不要互相打架。
处理手段有先后顺序
- 先收内链：站内所有入口都指向干净地址，这是成本最低的一步，也最容易被忽略。
- 再定规范地址：同一批内容的多个地址，指定一个作为代表，其余向它靠拢。
- 然后决定是否屏蔽抓取：对确实没有独立价值的参数组合，可以在抓取层面收口。
- 最后才是页面级的 noindex：适用于仍需要被访问、但不希望出现在搜索结果里的页面。
顺序反了容易出问题。比如先给页面加了 noindex，同时又在抓取层面把它拦掉，那个 noindex 永远不会被读到，页面可能长期悬在结果里。
改动之后怎么验证
调整完成后，用一段时间的访问记录做前后对比：参数类地址在总请求里的占比是不是下降了，主栏目和内容页的抓取次数是不是上来了。同时看一眼站点地图和站内搜索框、筛选组件的链接输出，确认没有新的参数入口被顺手生成。这类工作不是一次性的，模板改版、筛选组件升级、渠道投放变化，都可能重新引入新的参数组合。
判断标准可以简化成一句：这个地址如果被别人分享出去，用户看到的内容和主页面是不是明显不同？如果区别只在顺序或来源标记，它就不该有独立身份。
参数治理听起来琐碎，但它直接影响抓取资源花在哪里。把入口管干净，比事后在日志里一个个找问题要省力得多。