站内搜尋框、篩選器和排序按钮是用戶找内容最顺手的工具，也是 URL 數量最容易失控的地方。一個列表頁叠加颜色、尺寸、價格区間、排序方式和頁碼，參數组合能轻松堆到几千上萬條地址。對蜘蛛来说，這些地址里大部分是重复内容或低價值頁面，却會占掉本可以用在正文頁上的抓取時間。
參數地址為什么會膨胀
先弄清楚失控的来源，後面的處理才有方向。常见的几種情况：
- 组合爆炸：三個篩選维度各十個選項，理论组合就是上千條，而其中很多组合並没有實际内容。
- 顺序不固定：color=red&size=m 和 size=m&color=red 指向同一批商品，却被当成两個地址。
- 空值與預設值：点了篩選又取消，地址栏留下一串空參數，同样生成一個新 URL。
- 跟踪參數：utm_source、gclid、fbclid 這類參數跟随分享連結扩散，同一頁面出現多個版本。
- 站内搜尋结果頁：每個關鍵詞對應一個地址，用戶輸入的長尾词、拼寫错誤也會被记錄成可訪問頁面。
自查清單
1. 先看資料，別凭感觉
打開服務器訪問日誌或站長平台的抓取統計，按地址分類統計带問号的 URL 占比。如果參數頁占了抓取量的大头，說明需要處理。同时看這些參數頁有没有真實的外部連結和用戶訪問，没有的话優先級更高。
2. 站内搜尋结果頁怎么處理
搜尋结果頁通常不值得被收錄，但處理方式要選清楚：
- 如果整個搜尋功能都不需要被抓，用 robots.txt 屏蔽搜尋目錄或 /search 路径。
- 如果希望蜘蛛還能顺着结果頁發現正文連結，可以在頁面上加 noindex, follow，让頁面不被收錄但連結仍可传递。
提醒：robots.txt 屏蔽之後，搜尋引擎不會再抓取该頁面，也就看不到頁面里的 noindex。两種手段選一種，不要同时指望它們叠加生效。
3. 篩選與排序頁分两類看待
不是所有參數頁都该屏蔽。有搜尋量、有用戶主動訪問的篩選组合（比如某個品類的價格区間）可能值得保留；纯机器生成的组合則没有價值。可以按下面的方式区分：
- 保留：有獨立内容、有用戶需求、能被正常導航到達的篩選頁，给一個简洁的規范地址，並让列表頁只輸出必要參數。
- 收敛：内容基本重复的组合頁，用 canonical 指回主列表頁，或者加 noindex。
- 屏蔽：排序方式、每頁顯示數量、無意义的預設值，這類參數不值得被抓，直接屏蔽更省事。
4. 统一參數形式
同一批内容只應有一個地址。可以在服務端做归一化：把參數按固定顺序排列，去掉空值和預設值，然後對舊地址做 301 跳轉到規范形式。這一步做好之後，重复地址會明顯减少。
5. 清理跟踪參數
統計和推廣用的參數不影响頁面内容，可以让頁面上的 canonical 指向不带參數的版本；如果參數種類繁多且不可控，在 robots.txt 里用通配規則屏蔽常见前缀也是可行做法。
整理的先後顺序
- 導出近一個月的抓取记錄，筛出带參數的地址，按路径归類。
- 分清哪些參數頁有用戶訪問和外部連結，哪些纯粹是系統生成。
- 對每一類决定處理方式：屏蔽、noindex 還是 canonical，並记錄下来。
- 調整站内連結，列表頁和導航只輸出必要的參數，避免主動制造组合地址。
- 改完观察两到四周的抓取分布，看參數頁占比是否下降，正文頁抓取是否變多。
检查节奏
參數治理不是一次性的活。新上线的篩選维度、新接入的推廣渠道都可能重新引入大量地址，所以把這項检查放進季度例行工作里比較合适：每季度翻一次抓取日誌，看看有没有新的參數模式冒出来。记錄下每次調整的内容和規則，下次有人問起為什么屏蔽某個路径时，能直接查到原因。
處理參數的思路其實很简單：让每一個有價值的頁面只有一個地址，让没有價值的组合地址尽早被排除在抓取范围之外。做到這两点，蜘蛛的時間才會更多落在真正需要被發現的内容上。