做站的人常听到一句话:URL 别搞太深。但真问起来,深到第几层算深、URL 长了是不是就收不进去,往往没人说得清。把这件事拆开看,会更清楚该怎么处理。
先分清:URL 结构影响抓取,不直接决定收录
蜘蛛处理一个 URL 大致要经过发现、抓取、解析、判断质量、决定是否入索引几步。URL 结构主要作用在前两步和第三步的权重传递上。也就是说,结构糟糕的 URL,蜘蛛可能不会优先去抓,抓到了也可能传递不到多少内部权重;但结构完美的 URL,内容不行照样进不了索引。
把 URL 当成入场券而不是录取通知书,后面的判断会顺很多。
路径深度:几层算深
常见的电商或内容站,首页到详情四层以内是比较舒服的:
- 首页 /
- 栏目 /category/
- 列表 /category/page-2/
- 详情 /category/sub/item-123.html
超过五层,问题不在于蜘蛛爬不动,而在于权重需要一层层往下分,末端页面拿到的东西少;同时蜘蛛要走的路径变长,同样的抓取预算能覆盖的页面就变少。
如果历史原因导致目录很深,也不必急着大改。用面包屑、列表页互链、相关推荐把关键页面的内链补上,效果通常比换 URL 更快,风险也更低。
路径命名:可读性比关键词堆砌更重要
用短横线,别用下划线或空格
英文路径里单词之间用短横线分隔是通行做法,切词理解最稳定。下划线在某些场景会被当成连接符,空格会被编码成 %20,读起来更乱。
参数能收敛就收敛
跟踪参数、排序参数、筛选参数会让同一个页面产生大量 URL 变体。这些变体大多不需要单独收录。处理方式是:能静态化就静态化,不能的话用 canonical 指向主版本,同时避免在站内链接里带上无意义的参数。
大小写和结尾斜杠统一
同一台服务器上,/About 和 /about、/list 和 /list/ 如果都能返回 200,实际上就是两份内容。选一种写法固定下来,另一种做 301。
几个常见的误会
- URL 里带关键词就有排名优势:影响很小,而且容易演变成过度优化。
- 目录越浅越好,最好全塞在根目录:根目录堆几百个文件,后期分类和维护都很痛苦,内链也不好组织。
- 改了 URL 就等于重新收录:换 URL 意味着要做 301、更新内链、更新 sitemap,索引更新需要时间,期间流量波动是正常的。
- URL 太长一定收不进去:长度不是硬门槛,可读性和结构才是重点。
动手检查的清单
- 抽出站点里最深的一批 URL,看从首页出发要点几次才能到。
- 检查是否存在大小写、结尾斜杠、www 与非 www 的多版本共存。
- 导出内链里带参数的链接,确认这些参数是否真的影响页面内容。
- 确认每个重要页面的 URL 在 sitemap 里只出现一条。
- 观察日志中蜘蛛的抓取分布,看深度大的页面是否长期没有被访问。
什么时候值得改 URL,什么时候不值得
值得改的情况:URL 里有无法收敛的会话 ID、有明显拼写错误、整个目录结构已经和内容归属严重不符。这些改动会带来一次性的索引调整成本,但长期收益明确。
不值得改的情况:仅仅因为某篇文章的 URL 里没有目标关键词,或者想把 /a/123.html 换成 /b/456.html。这类改动收益极小,风险却不小。
URL 结构管的是蜘蛛好不好找、好不好走,内容质量和页面本身的可用性才决定它最终能不能留在索引里。两件事分开看,改动才有方向。