分面導航（篩選、排序、價格区間、品牌多選）對用戶是好東西，但對蜘蛛来说，它是一台 URL 生产机。同一批商品，勾選不同组合就能生成成百上千個地址。如果没有约束，蜘蛛顺着這些連結一层层点下去，抓取路径會迅速分叉，真正需要被發現的詳情頁反而排不上队。

一、蜘蛛為什么容易在篩選頁里迷路

篩選頁本身不是坏頁面，它的風險在于可组合的數量。三個篩選维度各十来個取值，两两组合就是几百個地址，再加上排序參數、每頁條數參數，實际生成的 URL 數量會遠遠超過站点的内容量。

蜘蛛爬行时並不理解「這些頁面内容高度相似」，它只看到一條條可点的新連結。于是通常會出現两個現象：

• 抓取額度被大量相似列表頁占掉，詳情頁反而抓得少；
• 抓取路径越走越深，同一件商品從几十個不同入口被反复抓到。

二、路径分叉之後會發生什么

当同一批内容能從多個參數入口到達，搜尋引擎需要自己做归一化判断。這個過程里，抓取资源和頁面權重都被摊薄，頁面即使被抓到，也可能被当作重复内容處理。

运营侧的判断标准很简單：一個 URL 如果用戶几乎不會通過它看到不一样的内容，它就不值得被蜘蛛当成一條獨立路径。

需要留意的是，單纯靠 robots.txt 屏蔽某些參數，只能挡住「抓取」，挡不住「發現」。連結只要出現在頁面上，蜘蛛仍可能记錄下這個地址，只是暂时不去抓。所以更彻底的做法是從内鏈源头减少這類地址的产生。

三、怎么把抓取路径收敛回来

1. 限制可组合的參數

常见的做法是只放開「單维度 + 有限取值」的篩選，比如品牌單選、價格区間固定几档；多選组合不生成静態連結，改成前端交互後置。這样頁面依然好用，但可爬地址的數量會明顯下降。

2. 内鏈只指向規范版本

• 列表頁預設排序不拼參數，或统一成同一個規范地址；
• 篩選结果改用按钮交互，减少可爬連結；
• 詳情頁的面包屑回到分類主入口，而不是回到某個篩選组合頁。

這样做的目的，是把蜘蛛的路径收敛到「首頁 → 分類 → 詳情」這條主干上，减少分支數量。

3. 用 Sitemap 补主干

Sitemap 适合放重要的詳情頁和分類首层，不适合堆放參數组合頁。把主干地址整理干净，等于给蜘蛛提供一條不依赖篩選操作的路径。

四、驗證：日誌里看什么

調整之後，用服務器日誌確認效果最直接：

1. 看詳情頁的抓取次數是否上升，參數頁的抓取次數是否回落；
2. 看同一批詳情頁的入口數量是否减少，路径是否更集中；
3. 看新上架内容從「發現」到「被抓」的間隔有没有缩短。

如果參數頁的抓取量降下来了，但詳情頁並没有涨，說明額度可能被其他低價值頁面接走了，需要繼續往下排查。

五、几点提醒

收敛路径不等于一刀切屏蔽所有參數。有些篩選頁确實能满足搜尋需求，也能带来訪問，這類頁面可以保留，但要控制數量，並保證内容和主列表有實质差异。判断依據始终是：這個地址對用戶有没有獨立價值，而不是蜘蛛喜不喜欢。