搜尋蜘蛛認 URL，基本是“字符串級別”的
先把基础说清楚：搜尋蜘蛛判断一條連結是不是新的，主要看 URL 字符串本身。參數不同、顺序不同、大小寫不同，多數情况下就會被当成不同的 URL，它不會先判断“這两個連結其實指向同一個頁面”再自動合並。
這意味着，在蜘蛛池入口頁里每给目标連結換一個參數，就相当于多制造了一條待抓取 URL。抓取预算本来就是有限的，這些實际上指向同一内容的多余 URL，會分走原本可以给真正頁面的抓取量。
入口頁上最容易出問题的几類參數
- 追踪參數：utm_source、utm_medium、gclid、fbclid 這類，同一條連結換個投放渠道就變一條 URL。
- 會话與用戶标识：sessionid、sid、uid，用戶每訪問一次就生成一個新值，等于無限产出 URL。
- 時間戳和随机數：為了“防缓存”加的 ?t=1710000000 或 ?r=abc，這類最容易把入口頁變成 URL 生成器。
- 排序、篩選、分頁：?sort=price&page=2 這種组合，數量會成倍膨胀。
- 參數顺序與大小寫：?a=1&b=2 和 ?b=2&a=1 在字符串层面已经是两條 URL。
會带来哪些實际影响
- 抓取预算被稀释：同一條目标 URL 被反复抓，真正需要更新的頁面反而排不上。
- 日誌噪声變大：分析抓取效果时，同路径不同參數混在一起，很难判断到底抓到了什么。
- 内容相似頁面堆积：如果這些參數 URL 返回了同样的内容，站点里就會出現大量近似重复頁面。
- 發現效率下降：入口頁上真正有價值的連結，被自己制造出来的參數連結挤到後面。
入口頁可以怎么處理
- 從源头去掉無用參數：入口頁輸出的目标連結，能不带追踪碼就不带。統計需求可以在服務端记錄跳轉，而不是寫進 href。
- 把參數收敛成一條規范地址：确實需要參數的頁面，尽量只保留影响内容的那几個，並统一固定顺序。
- 用 301 归並：带追踪參數的地址统一 301 到不带參數的規范版本，能减少重复 URL 的扩散。
- 谨慎使用 robots.txt 屏蔽：屏蔽可以阻止繼續抓取，但已经抓過的 URL 一般還會留在索引里；而且入口頁本身如果被屏蔽，目标連結也就發現不了。
- canonical 只是提示：它可以帮助搜尋引擎理解哪條是規范版本，但不是强制指令，不能指望它解决所有參數問题。
几個容易踩的坑
- 入口頁用 JavaScript 拼接參數，抓取端可能只看到基础 URL，也可能拿到拼接後的版本，结果不稳定。
- 為了“看起来多样”故意给每條連結加随机參數，這是自己给自己制造重复 URL。
- 把入口頁本身也加了參數，導致入口頁出現多個版本，反而分散了入口頁自身的抓取。
怎么驗證有没有出問题
最直接的办法是看服務器日誌：把同一路径下不同參數的抓取次數拉出来對比，如果某個參數版本的抓取量明顯偏高，基本可以確認是參數在制造重复 URL。其次，可以用站点的收錄查询大致看看同路径不同參數的頁面數量。如果參數版本占了很大比例，就该回头检查入口頁的連結拼接逻辑。
需要提醒的是，參數處理只是影响抓取效率的一個环节。即使參數整理干净，目标 URL 能不能被收錄，還要看内容质量、站点整体情况和其它發現渠道，不是改完參數就一定有變化。
參數本身不是問题，問题是在入口頁這種靠連結發現 URL 的场景里，多一個參數往往就多一條待抓取 URL。把參數收敛干净，比事後补救更省事。