一個容易被忽略的抓取隐患

站長在推廣或統計时，经常會在連結後面加上 utm_source、from、id 等跟踪參數。這些參數對用戶不可见，但對搜尋蜘蛛却可能是完全不同的URL。如果你的站点有大量這样的带參連結，搜尋蜘蛛可能會在重复頁面上浪費大量抓取額度，導致真正重要的頁面反而迟迟得不到收錄。

搜尋蜘蛛如何理解參數URL？

對于搜尋引擎来说，URL是唯一的资源标识。哪怕只有一個參數不同，理论上就是两個獨立的URL。比如 example.com/product?id=1 和 example.com/product?id=1&utm_campaign=abc，在蜘蛛眼里就是两個完全不同的地址。如果這些地址返回内容完全一样，蜘蛛就不得不重复抓取，同时還會稀释權重。

有些搜尋蜘蛛具备一定的參數识別能力，但並不是所有參數都能被正确忽略。尤其在站点規模較大时，參數组合爆炸可能带来成千上萬個無意义的URL。

常见問题表現

• 服務器日誌中看到大量带 ? 的請求，且同一内容被反复抓取。
• 站点被扒取數量遠大于實际頁面數，抓取预算被無谓消耗。
• 一些重要頁面不容易被收錄，而带參數的頁面却被收錄並造成重复内容判断。

如何有效規避重复抓取？

1. robots.txt 規則利用

在robots.txt中，可以禁止所有带參數的URL，比如 Disallow: /*?。但這样做要小心，如果站点允许通過參數区分有效内容，就可能會誤伤。建议先將參數名理清，再决定是否需要放行特定參數。

robots.txt 可以阻止抓取，但搜尋引擎可能會把參數URL视為獨立連結，所以要结合“白名單”方式，只允许必要的參數。

2. 使用 canonical 标簽指向标准版本

在每個带參頁面的 head 部分加上 rel="canonical" 指向标准URL，让搜尋蜘蛛知道真正的内容主頁應该被索引。這比僅靠 robots 更灵活，尤其当你希望用戶带參訪問，但索引标准URL时。

3. 蜘蛛池中的 URL 過滤

在使用蜘蛛池進行抓取調度时，可以把带參數的URL規則配置到過滤逻辑中。例如，忽略所有包含 utm_ 的參數，只保留 id 等必要參數。這样在蜘蛛池内就能先减少無意义的URL，再向真實搜尋引擎展示干净的連結结构。

4. 检查日誌，反向確認

定期检查服務器訪問日誌，看看是否有大量带無用參數的爬虫請求。如果發現，就按上述方法調整。不要以為參數URL没有“死鏈”問题就置之不理，它其實會悄悄蚕食抓取预算。

最後说几句

跟踪參數不是不能用，但尽量不要让它們成為搜尋蜘蛛看到的“常態”。通過合理的 robots 規則和 canonical 标簽，再借助蜘蛛池统一管理抓取入口，完全可以避免重复抓取，让爬虫把時間花在真正值得收錄的頁面上。