电商的筛选、资讯的标签、房产的“区域+户型+价格”、招聘的“城市+经验+薪资”……这类页面本身对用户有价值，但如果每一个筛选组合都能生成一个可独立访问的地址，数量会呈乘法级增长。几万个条目配上十来个筛选维度，理论上能拼出上千万个 URL。蜘蛛一旦顺着这些链接往下爬，抓取预算很快被吃光，真正需要被发现的页面反而排不上队。
参数组合为什么会失控
多数站点并不是主动生成了这么多地址，而是几个小问题叠加起来的结果：
- 链接是“活的”：筛选条件以可点击链接形式呈现，蜘蛛能一路点下去。
- 参数顺序不固定：?a=1&b=2 和 ?b=2&a=1 被视为两个地址。
- 空结果也返回正常页：没有匹配项时仍然回 200，并展示一个空列表。
- 追踪参数混入：来源、渠道、会话标识被拼在正常链接后面，同一内容对应多个地址。
- 排序与分页随意组合：同一批内容在多种排序下重复输出。
这些情况单独看都不算严重，叠在一起就会把站点的可抓取地址数量放大几个数量级。
一次实用的自查
1. 数一数真实存在多少地址
从站点日志或服务器访问记录里，按路径前缀统计带查询参数的请求，看看哪些参数被请求得最多、哪些组合几乎没有流量。这一步不追求精确，只需要判断量级：是几百个还是几十万个。
2. 检查参数顺序与默认值
手动访问同一组筛选条件，把参数换个顺序、把默认值显式写进地址、把无关参数去掉，看看服务器是否把它们当成同一个页面。如果返回内容完全一样但地址不同，就需要统一处理。
3. 处理空结果页
筛选到没有结果时，页面应明确告诉用户和蜘蛛“这里没有内容”。较常见的做法是返回 404 或 410，或至少加上 noindex 与明确的提示文案，而不是输出一个空列表还回 200。
4. 确认哪些组合值得保留
有搜索量、有用户需求的组合可以保留并做好标题与描述；纯机器拼接出来、无人访问的组合则不必让它们进入抓取视野。
常见的收敛方式
- 限制可爬维度：只让第一层筛选生成可点击链接，后续条件通过脚本或表单提交，不产生可枚举的地址。
- 固定参数顺序：在服务端统一排序并去重，让同一组条件只对应一个地址。
- canonical 指向无参数版本：对排序、视图切换这类不影响主体内容的参数，把首选地址指回干净版本。
- robots.txt 屏蔽特定参数模式：注意这是禁止抓取而非禁止索引，若地址已被收录，仅屏蔽抓取可能让页面长期停留在旧状态。
- 追踪参数统一跳转：带渠道标识的地址用 301 跳到标准地址，避免同一内容多个入口。
收敛范围时要留有余地。一次屏蔽太多参数，可能把真正有流量、有用户需求的筛选页也挡在外面。建议先按参数逐个评估，再分批调整。
用日志验证结果
调整之后，间隔一段时间回看日志：带参数的请求比例是否下降、核心页面的抓取频次是否上升、空结果地址是否还在被反复访问。如果某个被屏蔽的参数仍然频繁出现，通常是站内还有链接在指向它，需要从前端模板入手，而不只是改配置。
参数本身不是问题，失控的组合才是。把地址数量控制在一个可解释的范围内，蜘蛛才有机会把时间花在真正值得抓的内容上。