做站点运营时，经常听到一句话：重要页面不要埋在太深的目录里。这句话通常没错，但如果只盯着 URL 里斜杠的数量，很容易忽略一个更直接的因素——蜘蛛从入口走到这个页面，中间要点开几个链接。目录层级是给人看的结构，点击距离才是蜘蛛实际走的路。

目录层级和点击距离是两个概念

一个页面的 URL 可以是 /a/b/c/d/page.html，但只要首页固定位置有直达链接，它在抓取路径上就只有一跳。反过来，一个 /page.html 这样的一级地址，如果只能通过某个临时活动页，再经过多层列表和分页才能到达，点击距离反而更长。蜘蛛不会因为 URL 短就优先抓取，它更多依赖已经抓到的页面上的链接向外扩展。

怎么估算一个页面的点击距离

不需要精确建模，按下面的顺序大致排一下就有结论：

• 从首页出发，找到通往目标页面的最短链接路径，数一数中间隔了几层页面。
• 路径上是否必须经过分页、筛选页、参数页这类低价值页面。
• 中间页的链接是不是在初始 HTML 里就存在，还是靠 JavaScript 渲染后才出现。
• 站内搜索页、标签聚合页、相关推荐这类自动生成模块，是否也能到达目标页面。

把这几条列出来，往往会发现一批“看起来不深、实际绕很远”的页面。

容易被漏算的几个抓取入口

• 站内搜索结果页、标签页、作者页——它们经常自动生成大量链接，是重要的补充入口，但页面本身的重复度要控制。
• 相关内容、热榜、最新更新这类模块，位置靠后、数量多，容易在模板改动时被顺手删掉。
• Sitemap 里单独列出的 URL，可以在没有内链的情况下被看到，属于发现入口，而不是抓取路径。

内链上可以落地的几个动作

• 频道页固定位置露出：把重点栏目和重要详情页放在导航、频道首屏这类稳定位置，而不是只在活动期间出现。
• 列表页链接写进初始 HTML：纯前端渲染的列表，第一遍抓取可能只看到一个空壳。
• 面包屑保持可用：它既是给用户的返回路径，也是蜘蛛向上回溯、连通层级的手段。
• 控制单页链接数量：一页堆几百个链接，抓取注意力会被摊薄；但也不必为了“集中”把长尾页面的入口全部删掉，那样这些页面会逐渐失去被发现的路径。

分页与列表页的顺序问题

详情页大多是通过列表页和分页链接被发现的。如果分页只在滚动后才加载，或者第二页之后的链接是脚本拼接的，蜘蛛可能走不到后面。让前几页分页链接稳定出现在 HTML 里，通常比调整 URL 结构更有效。

Sitemap 和内链的分工

Sitemap 解决的是“有哪些 URL”，内链解决的是“蜘蛛怎么走到这里”。两者不能互相替代：只靠 Sitemap，页面可能长期停在已发现未抓取的状态；只靠内链，新页面在结构成型之前很难被及时看到。比较稳妥的做法是让内链承担主要路径，Sitemap 负责兜底和补充清单。

看数据验证，而不是凭感觉

访问日志里能还原蜘蛛的实际走向：某个批次的详情页第一次被访问时，前一条访问或来源是哪类页面；首页和频道页新增链接后，对应页面的首次抓取是否变快。后台的抓取统计、覆盖率报告也可以交叉印证。

另外，服务器响应慢、频繁返回 5xx，会让蜘蛛降低对整站的抓取节奏，之前做好的内链调整效果也会被推迟。结构、链接、稳定性这三件事是一起起作用的。

把点击距离当成一个能测量、能调整的指标，比反复纠结目录层级要实际得多。

最后提醒一句：以上调整只能改善蜘蛛发现和到达页面的条件，不保证收录，也不直接影响排名，最终仍要结合日志与后台数据持续观察。