标簽：篩選聚合頁

站内搜尋頁與篩選聚合頁：自動生成的入口要不要留给蜘蛛

站内搜尋頁、篩選頁和标簽聚合頁往往由系統自動生成大量 URL，容易占用抓取资源。本文梳理這些地址的来源，给出判断是否開放给蜘蛛的三個角度，並說明决定保留後如何收敛參數、分頁與内鏈范围，最後用日誌观察調整效果。