很多站点为了帮用户找内容，会开放站内搜索、分类筛选、排序、分页等入口。对用户来说方便，对搜索蜘蛛来说却可能是一张不断膨胀的 URL 网。尤其是多个参数自由组合时，同一个列表可以生成成百上千个地址，真正需要被发现的内容反而被挤到后面。
先看这些 URL 是怎么被发现的
蜘蛛通常不是凭空猜到参数，而是顺着站内链接一路走。常见来源包括：
- 搜索结果页里的“相关搜索”“热门搜索”链接；
- 列表页的筛选条件，如价格区间、颜色、地区、时间；
- 排序切换，如按销量、按人气、按更新时间；
- 分页参数与筛选参数叠加；
- 页面底部的标签云、聚合入口。
如果这些链接默认可抓取，蜘蛛就会把它们当作正常页面加入队列。久而久之，抓取日志里会出现大量相似 URL，而核心内容页的抓取频次可能被摊薄。
判断哪些参数页面值得保留
不是所有参数页都要删。先问三个问题：
- 有没有稳定搜索需求？如果某个筛选组合确实有人搜，并且页面内容有差异，可以考虑保留并做规范化。
- 内容是否重复？如果只是排序不同，页面主体几乎一样，通常不需要单独作为可抓取入口。
- 是否有利于用户？如果筛选结果对用户有帮助，但又不适合被索引，可以保留功能，收紧抓取。
判断时不要只看技术，也要看栏目运营目标。站内搜索是工具，不一定要变成内容页。
自查与处理清单
可以按下面顺序检查一遍：
- 打开抓取日志，筛选带问号的 URL，按参数名归类，看哪些参数出现最多。
- 在站内搜索框输入不同关键词，观察结果页是否被链接到、是否进入 sitemap。
- 检查筛选和排序链接是否用了可抓取的 a 标签，还是按钮加 JS 跳转。
- 确认搜索结果页、空结果页、参数错误页返回的状态码是否合理，别让空结果页变成可索引内容。
- 检查 canonical 是否指向了正确的列表页，而不是指向搜索结果页自身。
- 如果使用 robots.txt 屏蔽参数，注意不要连带屏蔽正常内容路径。
- 检查 sitemap 里是否混入了搜索、筛选、排序类 URL，有就清理掉。
几种常见的收紧方式
- robots.txt 屏蔽：适合明确不想被抓取的参数路径，但要小心通配符范围。
- meta robots noindex：适合页面能被访问但不想被索引的情况，注意 noindex 和 nofollow 的区别。
- canonical：把多个参数变体指向一个主列表页，帮助蜘蛛理解主版本。
- 链接属性：对站内搜索、排序等链接使用 rel='nofollow' 或改用按钮交互，减少蜘蛛跟进。
- 参数规范化：在服务器或 CDN 层处理无意义参数，减少重复 URL。
这些方式不是越多越好。先用日志确认问题，再选一两种组合，改完观察抓取率和索引变化。
改完后要看什么
调整后不要只看“收录量”一个数字。更实用的是看：
- 抓取日志里参数 URL 的占比是否下降；
- 核心内容页的抓取频次有没有回升；
- 站内搜索页是否还在产生新的索引；
- 用户是否因为筛选入口变化而找不到内容。
如果发现正常栏目页被误伤，要及时回滚规则。站内搜索和筛选是运营工具，处理目标是让蜘蛛把精力放在真正需要发现的内容上，而不是把功能入口全部关掉。
站内搜索和筛选参数不是越开放越好。先确认哪些 URL 值得被蜘蛛发现，再决定保留、规范还是收紧，才能让抓取额度用在刀刃上。