在蜘蛛池里，入口頁被爬虫抓多少次、抓的是哪個地址，往往决定後面目标頁能不能被顺带發現。很多池子本身配置没問题，問题出在 URL 上：同一個入口頁，在訪問记錄里出現七八種寫法，爬虫每次拿到的都是“新地址”，抓取信号自然就被摊薄了。
參數是怎么把入口頁拆成多個地址的
URL 參數本质上是给服務器传的變量，但爬虫看到的是字符串。只要參數值不同，它就會当成不同的 URL。常见的来源有几類：
- 統計與追踪參數：utm_source、utm_medium、gclid、fbclid 等，多来自外鏈投放或複製粘贴。
- 會话類參數：sessionid、sid、token，動態生成，每次訪問都可能變。
- 排序與篩選參數：page、sort、order、filter，列表頁常见。
- 分頁與展示參數：?p=2、?view=full、?print=1 之類。
- 大小寫與末尾斜杠差异：/Page 和 /page、/a 和 /a/ 在部分服務器配置下會被当成不同地址。
參數為什么會消耗抓取预算
爬虫的抓取配額是有限的。同一個入口頁被參數拆成十個地址，意味着至少要抓十次才能把内容看全，而這十次里内容可能完全一样。结果就是：真正需要被發現的目标頁排到了後面，或者干脆没轮到。
更麻烦的是，如果入口頁上的連結本身也带參數（比如從列表頁直接複製出来的），爬虫顺着往下走，會繼續生成一批带參數的二級地址，深度越走越散，越抓不到有用的頁面。
先分清楚哪些參數可以留
不必一刀切地砍掉全部參數。可以按用途分三類處理：
- 不影响内容的參數：統計、會话、来源追踪。這類應尽量在入口頁連結里去掉，或在服務器层面重寫掉。
- 影响内容的參數：分頁、分類、語言。這類可以保留，但要保證同一内容只有一種規范寫法。
- 可預設的參數：sort=default、view=normal 這類預設值，最好不出現在連結里。
几種常见的處理方式
统一书寫規則。入口頁内部連結全部使用規范化後的地址：统一小寫、统一带或不带末尾斜杠、不携带統計參數。外部引来的带參地址，靠服務器 301 跳到規范地址即可。
用 canonical 兜底。带參頁面如果無法避免存在，就在頁面里把 canonical 指向規范地址。注意 canonical 要指向真實可訪問、返回 200 的地址，指向重定向鏈中間环节等于把信号丢掉。
用 robots 規則或參數處理工具收敛。對确定無用的參數（如 sessionid、print），可以在 robots.txt 里用通配符禁止抓取，或在搜尋平台後台設定參數忽略規則。前者是阻止抓取，後者是让平台合並處理，二者目的不同，不要混用，也不要寫得過宽而誤伤入口頁本身。
入口頁尽量直鏈。把入口頁連結直接寫成不带參的静態地址，比依赖 URL 重寫更稳。批量生成入口頁时，模板里的連結最好由程序统一拼接，避免手工複製带来的參數残留。
上线前可以做的自检
- 随机抽 20 個入口頁，看頁面上指向目标頁的連結是否带統計參數。
- 检查是否存在同一路径的大小寫混用、末尾斜杠混用。
- 看訪問日誌里，被爬虫抓取的 URL 有多少是带參數的重复訪問。
- 確認 canonical 指向的地址能正常返回 200，且與 sitemap 中提交的地址一致。
- 確認 robots.txt 没有誤伤入口頁，尤其別把带參規則寫得太宽。
參數治理的目标不是“让 URL 變好看”，而是让爬虫的每一次抓取都落在有内容、有連結的地址上。分散出来的重复抓取，本身就是一種浪費。
參數處理属于基础工程，做與不做不會立刻看到差別，但池子規模上来之後，它會直接影响入口頁的有效抓取次數。定期抽查比一次性配置更可靠。