做蜘蛛池的人经常盯着“入口放了几個”，却很少盯着“每個入口在蜘蛛眼里其實長什么样”。一個本来很干净的頁面，只要在投放时随手挂上 ?from=xxx、?utm_source=yyy 這样的尾巴，就會在抓取队列里變成另一條地址。
為什么一個頁面會被拆成多條地址
搜尋引擎判断两條 URL 是否相同，主要看完整地址字符串，而不是“内容看起来一样”。只要參數不同、顺序不同、大小寫不同、结尾斜杠不同，它都可能被当成一條新地址先抓下来，再去判断内容是否重复。對蜘蛛池来说，這意味着你投入的一部分入口，實际抓的是同一個頁面的不同副本。
蜘蛛池里最常见的几類參數
- 統計與来源标记：utm_source、utm_medium、from、ref、share，一般只用于分析，對頁面内容没有影响。
- 會话與用戶标识：sessionid、sid、uid、token，每個訪客都可能不一样，蜘蛛抓一次就多一條地址。
- 排序與篩選：sort、order、filter、price_min，几個參數一组合，就能生成几百上千條變体。
- 分頁與视图：page、p、view、list_type、mobile=1，常被用来区分列表頁的不同狀態。
- 調试與缓存：debug=1、test=1、preview=1、带時間戳的缓存參數，本来就不该被外部抓取。
這些參數會带来什么
- 抓取被分散：蜘蛛的抓取量是有限的，同一頁面被抓十次，真正需要更新的頁面就少抓了。
- 信号被摊薄：内鏈、外鏈和点击如果指向不同參數版本，等于把一份信号分成好几份。
- 判断變难：一些带參地址可能返回空列表或預設排序，甚至是内容稀薄的頁面，蜘蛛很难判断哪條才是主地址。
- 日誌變乱：排查問题时，满屏相似地址，很难分辨哪些是真正有價值的入口。
投放前先做一次地址统一
與其事後清理，不如在把 URL 放進蜘蛛池之前统一一次，成本低得多。
- 只投放規范地址：去掉統計、會话、排序等對内容没有影响的參數，保留必要的业務參數，比如詳情頁的 id。
- 固定一套規則：统一小寫、统一是否带 www、统一结尾是否带斜杠、统一 http 或 https，規則定了就不要来回改。
- 頁面加自引用 canonical：主地址指向自己，參數版本指向主地址，给蜘蛛一個明确的合並信号。
- robots.txt 處理纯參數路径：對確認没有内容價值、又容易被抓的參數路径做屏蔽，但別把有價值的篩選頁一起挡住。
- 分頁單獨看待：分頁通常不该全部指向首頁 canonical，需要按分頁逻辑單獨處理。
已经带參數的歷史地址怎么收尾
- 先看日誌：观察這些地址有没有被稳定抓取、返回什么狀態碼，再决定保留、合並還是放弃。
- 能 301 就 301：參數版本如果确定不需要，可以跳到主地址；但別把有獨立内容、有流量的頁面强行合並。
- 让冷门參數地址自然淘汰：如果長期没有内鏈外鏈、蜘蛛也不来，放着不管通常問题不大。
- 別用大量 404 收场：短時間产生大量 404，容易让蜘蛛降低對整站的抓取意愿。
几個容易忽略的小地方
- 參數顺序不同可能算两條地址：?a=1&b=2 和 ?b=2&a=1 在某些系統里並不等價。
- 大小寫敏感：服務端如果区分大小寫，/Page 和 /page 就是两條。
- 尾斜杠差异：/list 和 /list/ 在很多服務器上是两條地址。
- 空參數：?from= 這種空值有时也會被当作獨立地址。
蜘蛛池解决的是“让蜘蛛知道有這些地址”，並不解决“這些地址是不是同一個頁面”。地址不统一，投放越勤，浪費越多。
小结
在把入口 URL 交给蜘蛛池之前，先花十分钟做一次參數清理和規則统一，通常比多買几個域名更划算。抓取量是有限的资源，把它花在不同頁面上，才更接近做蜘蛛池的初衷。