很多站点的問题不是内容不够，而是同一個頁面在服務器眼里有好几個身份。訪客從首頁点進去是 /seo/guide，從外部連結進来是 /SEO/Guide，自己手輸又變成 /seo/guide/。對訪問者来说没差別，對抓取和統計来说，這是三個頁面。抓取预算被摊薄，内鏈權重被拆開，报表里的資料也對不上。
先搞清楚常见的有哪些 URL 變体
- 大小寫差异：/About 和 /about 在部分服務器上指向不同资源，在另一些服務器上則两個都返回 200。
- 结尾斜杠：/news 與 /news/ 常常都能打開，返回的内容一模一样。
- 域名前缀：example.com、www.example.com，加上 http 與 https 混用，形成好几套入口。
- 預設首頁文件名：/index.html、/index.php 與目錄根地址同时可訪問。
- 參數顺序：?a=1&b=2 和 ?b=2&a=1 内容一致，URL 却不同。
這些變体里只要有两三種同时存在，站内就會慢慢积累出一批影子頁面。它們平时不顯眼，等到盘点存量内容时才發現一堆重复。
為什么要花時間统一
- 重复内容：同一篇内容被当成多份，頁面之間互相竞争。
- 權重分散：外部連結和站内連結分別指向不同寫法，等于把票拆開投。
- 抓取浪費：蜘蛛把時間花在跳轉和重复頁上，真正需要更新的新頁面反而排不上。
- 統計失真：訪問日誌和後台报表里，一個栏目被拆成几行資料，冷热判断就不准了。
- 缓存命中下降：CDN 和浏览器缓存按完整 URL 存，變体越多，缓存越碎。
自查：先把實际存在的變体找出来
- 手工測試。随机挑十個栏目頁和二十個内容頁，把大小寫、结尾斜杠、www 與非 www、http 與 https 逐個试一遍，记錄哪些直接打開、哪些發生跳轉。
- 翻服務器訪問日誌。搜尋同一路径的不同寫法，看它們是否都在被真實請求，尤其是被蜘蛛請求。
- 看抓取记錄里的重复。如果同一篇文章在日誌里以多個 URL 出現，基本可以確認規范化没做好。
- 检查 sitemap 與站内連結。同一個栏目在主導航、面包屑、列表頁、正文内鏈里的寫法是否一致。
- 检查 canonical。頁面头部声明的規范地址，是否與服務器實际跳轉的目标完全相同。
這一步不要只看首頁。栏目頁和分頁最容易出現斜杠不统一，老文章則常常留着早期的大小寫寫法。
统一實施：按顺序来，別一次全改
- 先定規則。确定唯一版本，比如统一小寫、统一带 www、统一 https、内容頁统一带结尾斜杠、目錄頁允许不带。規則要寫成文字，方便後續核對。
- 服務器层做 301。在 Web 服務器或 CDN 上把各類變体跳到唯一版本。規則尽量简單明确，一條規則只處理一種情况，避免互相匹配造成循环。
- 再改站内連結。導航、面包屑、分頁、正文内鏈、sitemap、RSS 輸出全部換成規范寫法，這一步比跳轉更重要，跳轉只是兜底。
- canonical 兜底。即使跳轉漏了某條路径，頁面本身也要声明規范地址，並且和跳轉目标保持一致，不要一個指向带斜杠、一個指向不带斜杠。
- 观察一段時間。看日誌里變体請求是否在减少，是否出現连环 301，新提交的 URL 是否正常返回。
几個容易踩的坑
- 大小寫跳轉不要寫成不区分大小寫的整站規則，容易把带參數的正常 URL 也卷進去。
- 跳轉目标必须寫最终地址，避免 A 跳到 B、B 又跳到 C 的鏈條。
- CDN 上缓存的舊跳轉可能保留很久，改完規則记得刷新缓存再驗證。
- 站点已有一定体量时，先拿一個栏目试点，確認無誤再铺開。
- 改完之後，内部工具、舊文档、投放連結里的老地址也要同步更新，否則變体會繼續從站外被带進来。
URL 規范化不是一次性任務。新上线的栏目、临时加的跳轉、更換過的 CDN，都可能把老問题重新带回来，最好把它放進上线前的检查項里，每次改版顺手過一遍。
把 URL 当成頁面的唯一身份證来對待，站点结构才谈得上清晰。規范统一之後，再去看抓取日誌、栏目冷热、内鏈分布，資料才有參考價值。