參數URL為什么會被大量發現
翻抓取日誌时，如果發現同一批内容對應着几十上百個带參數的地址，通常不是蜘蛛在乱抓，而是站内連結主動把入口递了出去。參數入口一旦被大量收錄，能在同一時間被分配的抓取額度就會被摊薄，真正需要更新的頁面反而排在後面。
一、參數路径的常见来源
- 篩選、排序、视图切換被寫成可直接点击的 a 标簽；
- 分面導航由前端根據目前 URL 叠加參數生成，參數顺序不固定；
- 推廣、統計、分享連結带 utm、from、ref 等跟踪參數，被複製進正文或评论；
- 模板里残留會话 ID、時間戳等動態參數。
這些地址大多指向同一批内容，蜘蛛逐一抓取後，發現新内容的效率自然會下降。
二、先判断哪些參數頁值得保留
不是所有參數都要清理，判断标准可以简化為三点：
- 内容是否真的不同：篩選结果若只是同一列表的重新排序，主体内容差异极小，通常不需要獨立入口。
- 是否有人搜尋或引用：有稳定搜尋需求、有外部連結指向的參數頁，贸然屏蔽會丢掉已有的入口價值。
- 是否能被稳定訪問：依赖會话、随机排序、限时活動的參數頁，本身就不适合作為長期入口。
實践上，能收敛的先收敛，判断不清的先看日誌里的抓取频次與落地表現，不建议一次性全量屏蔽。
三、收敛入口的几種做法
3.1 用 canonical 指明規范地址
對内容重复的參數頁輸出指向無參數版本的 canonical，有助于把信号合並。注意 canonical 是提示而非强制，仍需配合内鏈調整。
3.2 調整内鏈的指向
篩選連結尽量改為前端交互、不产生新的可抓取 URL，或统一參數顺序、去掉無意义參數。頁脚與侧栏的“热门篩選”模板連結如果指向大量參數组合，可以收敛成少數几個固定入口。
3.3 跟踪參數在入口层清洗
外部進来的 utm 參數可以在跳轉层 301 到干净地址，避免這些地址被站内連結繼續传播。清洗規則建议统一寫在跳轉层，而不是靠單個頁面處理。
3.4 Sitemap 只放規范地址
Sitemap 里同时出現带參數與不带參數的同一内容，等于自己制造重复入口。提交前做一次地址去重與規范化检查，比事後排查省事得多。
四、收敛後如何观察
- 抓取日誌中參數路径占比是否下降，規范地址的抓取是否更集中；
- 規范地址的抓取频次與返回狀態碼是否稳定；
- 是否有原本依赖參數入口的長尾頁面出現表現波動，必要时把關键參數頁重新放行。
收敛是来回調整的過程，改動後建议至少观察一到两周，再决定是否繼續收紧。
五、落地检查清單
- 導出抓取日誌中带參數的 URL，按參數名归類統計出現次數；
- 確認每個參數的實际用途：篩選、排序、跟踪還是會话；
- 為重复内容參數頁补充 canonical，並统一内鏈指向；
- 跟踪參數在跳轉层清洗，避免二次传播；
- Sitemap 去重，只保留規范地址；
- 改動後持續跟踪日誌與關键頁面表現，按需微調。