站内搜索页和筛选参数地址，往往不是刻意做出来的入口，而是功能自然产生的“副产品”。用户搜一次、勾一个筛选、点一次排序，地址栏就多出一串参数。功能上没问题，但对蜘蛛来说，这些地址都是可以顺着链接爬进去的页面。数量一多，就容易把站点的地址空间撑得很大。
这类地址为什么会失控
核心原因是组合。假设一个列表页有 5 个筛选维度，每个维度 4 个选项，理论上就能组合出上千个地址。如果这些组合还能叠加排序、页码、视图切换，数量会再翻几倍。其中绝大多数组合页没有独立价值：内容和其他组合高度重合，甚至只是空结果。
另一个来源是站内搜索结果页。很多模板会把搜索框做成表单 GET 提交，任何关键词都能生成一个 /search?q=xxx 的地址。如果这个地址可被抓取、可被索引，蜘蛛只要发现一次入口，就可能顺着站内相关推荐反复爬取不同关键词的结果页。
自查：先看清有哪些参数地址
- 在服务器日志或爬虫日志里筛出带 ? 的请求，按参数名归类，比如 q、s、keyword、page、sort、order、filter、price、color、view 等。
- 统计每个参数被爬取的频次和返回状态，注意是否存在大量 200 状态但内容雷同或为空的页面。
- 检查这些地址是否有内链指向：列表页的筛选链接、搜索页的“相关搜索”、分页组件、标签云。
- 确认它们当前的索引状态与 canonical、noindex 设置是否一致。
- 检查带追踪参数（utm、from、ref 等）的地址是否会被正常页面链出。
处理思路：按价值区分，而不是一刀切
不是所有参数地址都要屏蔽。真正值得保留的是那些能形成独立主题、有稳定需求、内容确实不同的筛选结果，比如“某城市二手房”“某品牌某型号”。这类可以考虑做成固定路径的静态页，配独立标题和描述，而不是靠参数拼出来。
其余低价值组合，比较稳妥的做法是分层处理：
- 站内搜索结果页：一般不建议让外部索引。可以在 robots.txt 里屏蔽对应路径，同时在页面上加 noindex，两者配合，避免地址被抓取后还被展示。
- 排序与视图参数：canonical 指回不带该参数的默认列表页，同时用 rel="nofollow" 处理排序链接。
- 多维度筛选：限制可组合的维度数量，或者只允许“单维度 + 单值”被抓取，其余组合通过参数顺序统一、服务端合并。
- 追踪参数：在服务端 301 到干净地址，或在页面输出时统一 canonical。
屏蔽和 noindex 能减少无效抓取，但不等于内容就会被收录或排名提升。它们的作用是让蜘蛛少花时间在无意义的地址上。
别忽略前端渲染带来的链接
有些筛选是前端 JS 动态生成的，页面源码里看不到链接，但渲染后会出现。如果蜘蛛具备渲染能力，同样能发现这些地址。所以自查时不要只看 HTML 源码，还要看渲染后的 DOM 和实际发出的请求。
改完之后看什么
调整后的一两周内，重点关注日志里这些参数地址的请求占比是否下降、抓取是否更多落在内容页和栏目页上。同时留意站内搜索功能是否仍然正常——屏蔽爬虫不等于屏蔽用户，别把功能一起关掉。
最后提醒一点：参数地址管理是长期工作。每次改版、增加筛选维度、接入新的搜索组件，都可能重新引入一批地址。把它写进上线自查清单，比事后补救省力得多。