URL 本身不参与排序打分，但它决定了蜘蛛每一次抓取的成本。入口页、内链、Sitemap、日志，全都以 URL 为基本单位。结构混乱时，蜘蛛要多花时间判断“这个地址是不是新的”“和刚才那个是不是同一个页面”，真正能分给内容抓取的机会就变少了。
URL 在抓取链路里承担什么角色
蜘蛛的工作可以粗略拆成三步：拿到一个 URL、判断值不值得抓、抓完之后决定要不要继续顺着它的链接走。URL 结构在这三步里都有影响。带清晰目录的地址，蜘蛛更容易判断它属于哪个板块、大概是什么内容；带一堆参数或数字 ID 的地址，判断成本更高，也更容易在去重环节被丢掉。
目录层级：不必追求“越浅越好”
“三层以内”是常见说法，但更实用的判断标准是从首页到目标页需要几次点击。如果详情页只能靠站内搜索或者翻十几屏分页才能到达，层级数字再好看也没用。
- 核心栏目与主要商品、文章页，尽量控制在 2 到 3 次点击内可达。
- 长尾页面可以更深，但要保证从栏目页或相关推荐里有稳定的内链入口。
- 为了压层级把所有页面塞到根目录，反而会让蜘蛛难以判断站点结构，通常不划算。
命名方式：ID 与语义化路径各有取舍
语义化路径（例如 /category/product-name）可读性好，蜘蛛和人在看到链接时都能猜出内容方向；数字 ID 路径（例如 /item/102384）稳定、改标题时不用动 URL，但信息量少。两者都能被正常抓取，不存在必须用哪一种的问题。
真正需要注意的是混合型地址：前面是语义化路径，后面又拖一串 ID 和参数。这种地址既长又不稳定，标题一改就容易产生新地址，反而增加去重负担。
URL 首先是给机器读的，人只是顺便看一眼。可读性是加分项，不是必须项。
结尾斜杠、大小写与参数的一致性
这类问题看着琐碎，却是重复地址的高发区。
- 结尾斜杠：如果 /page 和 /page/ 都返回 200，等于同一内容有两个地址。选一种写法，另一种做 301。
- 大小写：服务器区分大小写时，/News 和 /news 是两个不同地址。内链和 Sitemap 里要统一。
- 追踪参数：来源统计、会话参数尽量不要写进内链和 Sitemap，它们会让同一个页面在日志里出现很多次。
- 默认页：/list 与 /list/index.html 同时可访问时，也建议只保留一个。
改版或重构 URL 时的注意事项
URL 一旦被收录和引用，改动就意味着旧地址失效。改动前建议按下面的顺序处理：
- 先导出当前日志和 Sitemap 里的活跃 URL，确认哪些地址确实有蜘蛛访问。
- 为每个旧地址准备到新地址的一对一 301，避免统一跳到首页。
- 同步更新站内链接、导航、分页和相关推荐，不要让旧地址继续出现在页面上。
- 提交新的 Sitemap，同时保留旧 Sitemap 观察一段时间，方便对照抓取变化。
- 改版后定期看日志，确认旧地址的访问量在下降、新地址在上升。
一份简单可用的检查清单
- 随机抽 20 个页面，看从首页走到它们各需要几次点击。
- 检查是否存在同内容多地址：斜杠、大小写、参数、www 与非 www。
- 确认分页、筛选、排序链接不会被内链成批带出。
- 看 Sitemap 里的地址与页面内链用的地址格式是否一致。
- 回看日志里 301 和 404 的集中出现位置，多半能定位结构问题。
URL 结构不需要做到完美，但需要做到一致。稳定、可预测的地址规则，能让蜘蛛少做判断、多做抓取，这本身就是站点运营里划得来的一件事。