不少站点都開了站内搜尋，用戶輸入關鍵詞就能找到内容。麻烦的是，爬虫也會用這個入口：它顺着搜尋框、热门搜尋词、结果頁里的相關連結一路点下去，每次携带不同參數，服務器就返回一個新頁面。頁面本身往往只有几條结果、一段空泛的提示，正文重复度极高。

這類頁面的問题不在技術，而在數量。少量几個搜尋頁無所谓，成千上萬條參數组合同时存在，就會占用抓取资源，也會让站点的内容质量信号變得模糊。

先確認站点里到底有多少搜尋頁

自查的第一步是把范围摸清楚，而不是凭感觉。可以试试下面几種方式：

• 翻搜尋日誌或服務器日誌，篩選带搜尋參數的請求，看蜘蛛訪問量占比有多高。
• 看索引資料，確認有没有明顯是搜尋结果頁的 URL 被收錄。
• 在站内搜尋框里輸入几個常见词，观察结果頁 URL 的构成，是 q= 還是 s=，有没有分頁參數。
• 检查搜尋结果頁是否被其他頁面主動連結，比如热门搜尋模块、相關推荐模块。

三種常见處理方式，按需選擇

一、直接禁止抓取

在 robots.txt 里屏蔽搜尋路径，是最直接的做法。前提是路径規則足够明确，別把正常栏目一起挡掉。屏蔽前先用工具模拟測試，確認規則命中的是搜尋结果頁，而不是内容頁。

二、允许抓取但标记 noindex

如果担心直接屏蔽會让蜘蛛看不到頁面里的連結，可以让搜尋頁返回 noindex 标记，让蜘蛛進来但不收錄。這種做法适合搜尋頁里還带着有價值連結的情况，代價是仍會消耗一部分抓取。

三、收敛搜尋入口的暴露

無论選哪種，都要减少搜尋頁對外的出口。结果頁里的相關搜尋、热门词、分頁連結，都是蜘蛛繼續往下爬的跳板。可以考虑给這些連結加上 nofollow，或者干脆不在结果頁里大量展示。

几個容易忽略的细节

• 空结果頁：搜不到内容时的提示頁，通常就是纯空壳，最好一並處理。
• 分頁參數：搜尋结果分頁會产生大量近似頁面，能限制頁數就限制。
• 大小寫與空格：同一個词的不同寫法可能生成不同 URL，需要做归一化。
• 別伤到用戶功能：處理的是爬虫行為，不是把站内搜尋本身關掉。

屏蔽規則不是一次性的。模板改版、搜尋组件升級後，路径和參數都可能變化，建议把這條检查放進定期的站点巡检清單里。

處理完之後怎么驗證

改完規則後，不要只看 robots.txt 本身。用抓取測試工具請求几條典型的搜尋 URL，確認返回的是预期结果；再去日誌里观察一段時間，看相關請求是否明顯减少。如果搜尋頁已经被收錄，可以配合站点地图和内部連結清理，逐步让它們淡出，而不是期待一夜之間消失。

最後提醒一句：站内搜尋頁本身不是坏東西，它是给用戶用的工具。問题只在于它是否被当成了内容頁来對待。把入口收一收，把參數理一理，站点结构和抓取都會清爽一些。