很多站点的 URL 並不是靠編輯一篇篇寫出来的，而是由站内搜尋、标簽、专题聚合自動生成的。這類頁面给用戶提供了入口，也给蜘蛛提供了一條几乎没有尽头的爬行路径。問题不在于它們存在，而在于蜘蛛會不會把大量抓取時間耗在這些頁面上。
蜘蛛是怎么找到這些頁面的
最常见的情况是連結就摆在明面上：搜尋框提交後的结果頁、文章底部的标簽云、侧栏的热门關鍵詞、专题頁里的“更多”按钮。只要這些連結是标准的 a 标簽，蜘蛛顺着首頁走两三层就能碰到。
另一條路是頁面里的分頁和排序。搜尋结果的第二頁、第三頁，标簽頁的翻頁，往往带參數拼接。如果這些連結互相串联，蜘蛛就會沿着一條鏈一直走下去。
還有一種是站点地图或者内鏈系統把标簽頁全量提交。數量一多，蜘蛛發現得很快，但抓取也會更集中地落在這些頁面上。
為什么容易變成负担
- 组合數量不可控。多個标簽叠加、關鍵詞排序變化，都可能生成新的 URL。
- 内容重复度高。同一批文章換個顺序出現在多個列表里，頁面主体差別不大。
- 對服務器有压力。站内搜尋通常要查資料库，蜘蛛並發請求时的開销比静態頁明顯。
- 挤占抓取分配。真正需要更新的詳情頁，排在這些列表頁後面。
這些影响不會立刻顯現，通常在日誌里表現為：某個參數頁被反复抓取，而新發布的文章迟迟没有訪問记錄。
哪些留下，哪些收敛
值得保留的
有明确搜尋需求、内容相對稳定、並且有真實内鏈指向的标簽頁，可以保留。比如固定的专题分類、和业務强相關的少數關鍵詞頁面。它們既是用戶的入口，也是蜘蛛理解站点结构的线索。
建议收敛的
- 带任意關鍵詞參數的搜尋结果頁，尤其是可以被外部构造成無限组合的。
- 标簽交叉组合頁，比如两個以上标簽叠加生成的列表。
- 排序、视图切換、每頁數量這類纯展示參數。
- 内容為空或者只有几條结果的低质聚合頁。
處理方式可以按强度区分：robots.txt 禁止抓取带參數的路径，是對蜘蛛最直接的约束；頁面内連結加 rel="nofollow"，或者用 JS 触發而不给出可抓取的 a 标簽，能减少發現；對仍需保留的頁面加上規范的 canonical，把信号归到主列表頁。需要注意的是，禁止抓取並不等于禁止收錄，如果外部有連結指向這些 URL，它們仍可能出現在结果里，只是蜘蛛看不到内容。
几個容易踩的坑
- 一刀切把标簽頁全禁掉，结果蜘蛛失去了發現新文章的路径。
- 只在 robots 里寫規則、不做内鏈收敛，蜘蛛仍在反复尝试被禁止的 URL。
- 搜尋结果頁對未登入用戶可见，對蜘蛛也可见，却忘了加參數限制。
- 站内搜尋接口没有做频率限制，蜘蛛密集請求时拖慢整站响應。
用日誌確認效果
調整之後不要只看 robots 文件，打開服務器日誌，按路径分组統計蜘蛛的訪問次數和狀態碼。重点看两件事：參數頁的請求量是否下降，詳情頁的抓取量是否相應上升。如果两周後抓取结构没有變化，可能是内鏈没有真正改掉，或者有外部連結持續把蜘蛛引向舊路径。
站内搜尋和标簽聚合頁本身不是問题，問题在于它們是否占據了那些你希望蜘蛛優先走的路径。入口留几個够用的，剩下的交给規則去收敛，比全部開放或者全部封死都更稳。