标签：筛选聚合页

站内搜索页与筛选聚合页：自动生成的入口要不要留给蜘蛛

站内搜索页、筛选页和标签聚合页往往由系统自动生成大量 URL，容易占用抓取资源。本文梳理这些地址的来源，给出判断是否开放给蜘蛛的三个角度，并说明决定保留后如何收敛参数、分页与内链范围，最后用日志观察调整效果。