站内搜尋框和列表篩選器，是訪客用得比較顺手的功能，但它們同时也是站点最容易制造出大量地址的地方。一個搜尋词是一個地址，两個篩選條件组合又是另一個地址，再加上排序、分頁、每頁條數這些參數，地址數量可以近乎無限增長。這些頁面通常内容稀薄、彼此高度相似，如果没有做任何處理，搜尋蜘蛛會顺着這些連結一路爬下去，把抓取時間花在几乎没有價值的地方。
為什么站内搜尋和篩選會撑出無限地址
- 搜尋词由訪客輸入，等于任何词都能生成一個頁面。
- 多個篩選條件可以自由组合，條件越多组合越多。
- 排序、每頁條數、顯示方式等參數，往往只改變展示，不改變内容主体。
- 分頁參數可以一直翻下去，部分站点甚至没有翻頁上限。
這些頁面本身不是错誤頁面，狀態碼通常是 200，但标题、正文常常由模板拼接而成，重复度很高。對站点来说，它們消耗的是服務器资源和抓取時間，却很难带来實际價值。
先看清楚：哪些地址被生成了，哪些被爬了
不要凭印象處理，先把實际情况查清楚。
- 在服務器日誌里篩選带搜尋參數、篩選參數的請求，看看數量和占比。
- 观察這些請求来自哪些蜘蛛、訪問频率如何、是否在持續增長。
- 在搜尋引擎的站長工具里查看已抓取的地址样本，確認是否存在大量參數地址。
- 用抓取工具模拟一次全站爬取，看看從首頁出發能不能通過連結走到搜尋頁和篩選頁。
做完這几步，通常能得到两個结论：搜尋頁和篩選頁确實被抓了，而且入口主要是站内的搜尋框提交结果和篩選連結，而不是外部連結。
三個處理方向，按頁面價值分別對待
1. 没有保留價值的地址：不让蜘蛛進入
搜尋结果頁、無意义的參數组合頁，通常属于這一類。可以用 robots.txt 统一拦截，也可以在頁面加 noindex。
注意：如果先用 robots.txt 屏蔽，蜘蛛就讀不到頁面上的 noindex 了，两者不要叠加使用，選一種执行方式即可。
2. 有價值的篩選頁：保留並做成規范頁面
有些篩選组合确實對應訪客的真實需求，比如“城市+分類”這類固定搭配。這類頁面适合做成獨立的規范地址，有獨立的标题和描述，而不是靠參數临时生成。
- 固定几個高频组合，改寫成静態路径或可讀的干净地址。
- 頁面内容不能只是列表，补一段說明文字，让頁面有自己的信息。
- 在頁面上放 canonical，指向規范地址，避免同類頁面互相竞争。
3. 中間狀態：先收敛入口，再看表現
不好判断價值的頁面，可以先把站内連結收一收：搜尋结果頁不主動輸出連結，篩選栏只保留有限的條件，分頁加上合理上限。入口少了，蜘蛛自然也就少爬。
几個常见的坑
- 搜尋頁互相連結：热门搜尋词、相關搜尋如果没有加限制，很容易形成一張互相指向的網。
- 參數顺序不同：同一组條件因為參數顺序不同生成两個地址，需要做统一或規范處理。
- 空结果頁面：搜尋無结果时也返回 200，且内容為空，這類頁面更不该被抓取。
- 屏蔽規則寫得太宽：用通配符一刀切，可能连带把正常的列表頁、分頁一起挡住。
處理之後要驗證
改完不是結束。過一段時間回到日誌里，看带參數的請求是不是明顯减少，看之前被频繁抓取的地址是否還出現。站内搜尋和篩選的處理逻辑，也應该寫進站点改版和栏目規划的检查項里，避免下次重做功能时又把老問题带回来。
说到底，站内搜尋和篩選服務的是訪客，不是蜘蛛。把入口收敛好、把有價值的组合固化下来，剩下的交给站内連結和站点地图去引導，抓取就會更集中在你真正希望被看到的内容上。