做站的人常听到一句话:URL 別搞太深。但真問起来,深到第几层算深、URL 長了是不是就收不進去,往往没人说得清。把這件事拆開看,會更清楚该怎么處理。
先分清:URL 结构影响抓取,不直接决定收錄
蜘蛛處理一個 URL 大致要经過發現、抓取、解析、判断质量、决定是否入索引几步。URL 结构主要作用在前两步和第三步的權重传递上。也就是说,结构糟糕的 URL,蜘蛛可能不會優先去抓,抓到了也可能传递不到多少内部權重;但结构完美的 URL,内容不行照样進不了索引。
把 URL 当成入场券而不是錄取通知书,後面的判断會顺很多。
路径深度:几层算深
常见的电商或内容站,首頁到詳情四层以内是比較舒服的:
- 首頁 /
- 栏目 /category/
- 列表 /category/page-2/
- 詳情 /category/sub/item-123.html
超過五层,問题不在于蜘蛛爬不動,而在于權重需要一层层往下分,末端頁面拿到的東西少;同时蜘蛛要走的路径變長,同样的抓取预算能覆盖的頁面就變少。
如果歷史原因導致目錄很深,也不必急着大改。用面包屑、列表頁互鏈、相關推荐把關键頁面的内鏈补上,效果通常比換 URL 更快,風險也更低。
路径命名:可讀性比關鍵詞堆砌更重要
用短横线,別用下划线或空格
英文路径里單词之間用短横线分隔是通行做法,切词理解最稳定。下划线在某些场景會被当成连接符,空格會被编碼成 %20,讀起来更乱。
參數能收敛就收敛
跟踪參數、排序參數、篩選參數會让同一個頁面产生大量 URL 變体。這些變体大多不需要單獨收錄。處理方式是:能静態化就静態化,不能的话用 canonical 指向主版本,同时避免在站内連結里带上無意义的參數。
大小寫和结尾斜杠统一
同一台服務器上,/About 和 /about、/list 和 /list/ 如果都能返回 200,實际上就是两份内容。選一種寫法固定下来,另一種做 301。
几個常见的誤會
- URL 里带關鍵詞就有排名優势:影响很小,而且容易演變成過度優化。
- 目錄越浅越好,最好全塞在根目錄:根目錄堆几百個文件,後期分類和维護都很痛苦,内鏈也不好组织。
- 改了 URL 就等于重新收錄:換 URL 意味着要做 301、更新内鏈、更新 sitemap,索引更新需要時間,期間流量波動是正常的。
- URL 太長一定收不進去:長度不是硬门槛,可讀性和结构才是重点。
動手检查的清單
- 抽出站点里最深的一批 URL,看從首頁出發要点几次才能到。
- 检查是否存在大小寫、结尾斜杠、www 與非 www 的多版本共存。
- 導出内鏈里带參數的連結,確認這些參數是否真的影响頁面内容。
- 確認每個重要頁面的 URL 在 sitemap 里只出現一條。
- 观察日誌中蜘蛛的抓取分布,看深度大的頁面是否長期没有被訪問。
什么时候值得改 URL,什么时候不值得
值得改的情况:URL 里有無法收敛的會话 ID、有明顯拼寫错誤、整個目錄结构已经和内容归属嚴重不符。這些改動會带来一次性的索引調整成本,但長期收益明确。
不值得改的情况:僅僅因為某篇文章的 URL 里没有目标關鍵詞,或者想把 /a/123.html 換成 /b/456.html。這類改動收益极小,風險却不小。
URL 结构管的是蜘蛛好不好找、好不好走,内容质量和頁面本身的可用性才决定它最终能不能留在索引里。两件事分開看,改動才有方向。