為什么入口頁要先做 URL 規范化
蜘蛛池的入口頁大多是批量生成的，同一份内容很容易對應到多個地址：带 www 和不带 www、结尾带斜杠和不带斜杠、大寫和小寫混着来。對外看只是「多了一個頁面」，對蜘蛛来说却是若干個各自獨立的 URL。抓取日誌會被同一份内容反复填满，抓取预算被摊薄到多個變体上，判断重复内容时也更容易出現偏差。
規范化要解决的問题很朴素：让同一份内容只對應一個主 URL，其余形態都明确指向它。這件事做在前面，後面接资源、看日誌、铺内鏈都會省事很多。
入口頁常见的几種不規范情况
- 同一域名下 http 與 https 同时可訪問，没有强制跳轉；
- www 與非 www 都能打開，各自返回 200；
- 路径大小寫混用，/Index 和 /index 被当成两個頁面；
- 结尾斜杠不统一，/a 與 /a/ 都能訪問；
- 預設首頁既能用 /，也能用 /index.html、/index.php；
- URL 里挂着 utm_、sessionid、時間戳等無用參數；
- 列表頁的排序、篩選、分頁參數组合出大量近似地址；
- 不同批次生成的入口頁命名习惯不同，最後混在一起。
這些情况單獨看都不大，叠加起来就會让入口层的地址變得很乱，蜘蛛抓到的 URL 和你以為在维護的那批，往往對不上。
先選定唯一形態，再谈收敛
規范形態没有绝對标准，重点是内部统一、長期不變。常见的取舍是：
- 域名层面二選一：要么全 www，要么全非 www，另一個用 301 收過来；
- 协议统一走 https，http 一律 301；
- 路径统一小寫，在生成脚本里做一次强制轉換；
- 结尾斜杠二選一，目錄式頁面统一带，文件式頁面统一不带；
- 首頁只用根路径，/index.html 這類形態要么 301，要么干脆不生成；
- 參數能省則省，必要的參數固定顺序或用路径重寫。
規范化最怕「今天觉得带斜杠好，明天又改成不带」。改動一次就等于把入口頁的鏈路全部動一遍，已有的抓取记錄也要重新對齐，所以規則最好在建池初期就定下来。
把信号统一到主 URL 上
- 用 301 收敛，不用 302。302 属于临时跳轉，蜘蛛通常不會把索引和信号合並到目标地址。
- 加 canonical。在非規范形態的頁面上指向主 URL，作為跳轉之外的第二重保險。跳轉目标和 canonical 要指向同一個地址，信号才不打架。
- 内鏈只用規范形態。入口頁之間互鏈、指向目标頁的連結，都寫規范 URL。哪怕只差一個结尾斜杠，也會让蜘蛛多走一次跳轉。
- sitemap 與提交接口用規范 URL。站点地图和主動提交是 URL 發現的补充渠道，如果里面塞的是變体地址，等于自己制造重复。
- 生成脚本统一出 URL。把域名、协议、斜杠、大小寫的規則寫進模板，別指望上线後人工逐個修。
參數類 URL 怎么處理
入口頁很少完全不用參數，但可以控制范围。排序、篩選這類會生成大量组合的參數，建议固定參數顺序，或者重寫成路径；跟踪參數（utm、渠道标识）不要出現在入口頁的連結里；只有真正影响内容的參數才保留，其余的在生成阶段就去掉。如果确實無法收敛，至少在頁面上放 canonical 指向無參數的主地址，避免蜘蛛把每個组合都当成新頁面。
怎么检查是否收敛到位
- 翻抓取日誌，看同一份内容是不是還對應着多個地址；
- 抽样用浏览器訪問變体形態，確認返回的是 301 而不是 200；
- 把 sitemap、提交接口里的 URL 和頁面上的内鏈做一次比對，看是否都是規范形態；
- 检查生成脚本，確認規則是在源头生效，而不是靠後期批量替換。
几個容易踩的坑
用 302 或 JS 跳轉做規范化，蜘蛛往往不會按预期合並信号；把非規范形態直接 404，可能连外部已有的指向一起丢掉，301 通常更稳；已经在用的規范形態不要临时改，改之前先確認全站鏈路能不能同步調整。規范化本身不保證抓取或收錄结果，它做的只是把入口层的地址理干净，让蜘蛛少做一些重复判断，剩下的還是取决于内容與實际站点质量。