标签：URL泛滥

站内搜索页产生大量 URL：蜘蛛顺着搜索框走进来之后

站内搜索是很多站点被忽视的 URL 源头。一个可被抓取的 GET 搜索表单，能在短时间内让蜘蛛拿到成千上万个带参数的地址，把抓取预算摊薄到低价值页面上。本文讲清楚蜘蛛可能从哪些入口走进站内搜索、怎么从日志里确认泛滥范围，以及 robots.txt、noindex、表单改造几种收敛方式的先后顺序与注意事项。