URL 看起来只是地址栏里的一串字符,但在站点运营里,它同时承担两件事:给用戶一個可讀的位置提示,也给搜尋蜘蛛一個明确的抓取入口。命名一旦随意,後續的連結、重定向、站点地图和統計都會跟着變复杂。
為什么 URL 命名值得單獨检查
很多站点的問题不是内容不够,而是同一篇内容被多個 URL 指向。大小寫、參數、结尾斜杠、跟踪碼,都會让蜘蛛把同一頁当成不同頁面反复抓取。抓取配額是有限的,重复 URL 多了,真正需要發現的新頁面就會被挤到後面。
常见的 URL 命名問题
- 大小寫混用:/News/ 和 /news/ 在部分服務器上是两個地址,連結到處不一致,日誌里也會出現两份记錄。
- 參數不加约束:列表頁、篩選頁、排序頁各自生成一套地址,蜘蛛顺着參數一路爬,容易陷入组合爆炸。
- 中文、空格和特殊字符:直接使用中文标题做路径,编碼後變得很長,複製和分享容易出错。
- 纯動態 ID:/article.php?id=12345 可讀性差,也不利于用戶判断頁面主题。
- 层級過深:為了分類而分類,路径越堆越長,重要頁面反而离首頁很遠。
可以照着做的自查清單
- 同一類内容使用同一套命名規則,英文小寫、连字符分隔,避免下划线和空格混用。
- URL 尽量短,保留能說明主题的關鍵詞即可,不要把所有栏目都塞進路径。
- 對篩選、排序、分頁參數做限制,無關參數不要進入可抓取連結。
- 需要改 URL 时,用 301 指向新地址,並同步更新内鏈、站点地图和 canonical。
- 检查頁面上给出的連結是否和 sitemap 中一致,不要一個頁面多個版本。
- 定期從日誌里抽样,看蜘蛛抓到的是不是你想让它抓的那批地址。
改 URL 之前先想清楚
URL 不是不能改,而是改之前要评估影响范围。一個小栏目改名,可能牵動導航、列表、内鏈、外鏈和統計报表。如果只是觉得不好看,不建议频繁調整。真需要改,就一次改到位,保留舊地址到新地址的跳轉,並观察一段時間服務器日誌里的抓取情况。
URL 是頁面的门牌号。门牌号频繁更換,用戶和蜘蛛都會找不到路。
把命名規則寫進編輯和開發流程,比事後靠重定向补救更省事。每次上新内容时多花几秒检查地址,長期看能减少很多重复抓取和統計噪音。