蜘蛛进入一个站点，通常从少数几个入口开始：首页、Sitemap、外链指向的页面。之后它能走多远、走到哪些页面，取决于站内的链接路径。同一批页面，如果从入口出发要经过五六次跳转才能到达，被发现和被回访的概率往往低于三层以内的页面。抓取深度因此成了一个可以观察、也可以调整的变量，而不是只能听天由命的结果。
抓取深度指的是什么
抓取深度一般指蜘蛛从已知入口出发，经过多少次链接跳转才能到达某个 URL。首页算第 0 层，首页直接链接的页面是第 1 层，再往下依次递增。这个层数不是目录结构的层数，而是链接跳转的层数——一个放在深层目录下的页面，只要首页有直链，它的抓取深度仍然是 1。
深度为什么会影响抓取
蜘蛛每天能抓多少页面，受站点规模、服务器响应速度、抓取预算等多方面限制。在同样的预算下，浅层页面通常会被更频繁地回访，深层页面更容易排在队列后面。这不代表深层页面不会被抓到，而是说它们对入口变更、内容更新的反应更慢，出问题时也更难从日志里及时发现。
链接本身也是一种信号。被多个浅层页面链接的 URL，在蜘蛛眼里更像是值得优先走的路；如果只有一个深层页面的页脚链接指向它，它的发现优先级自然靠后。
蜘蛛更偏向哪种走法
实际抓取中，广度优先的倾向比较常见：先把同一层出现的大量链接排进队列，再往下走。所以如果重要页面都挂在某个中层栏目下，而该栏目本身链接很少，蜘蛛可能优先去抓了首页那一堆浅层但次要的页面。
常见的路径问题
- 重要页面只从分页很深的列表页可达，越往后翻越难被走到。
- 内容页之间几乎没有横向链接，全靠栏目页中转。
- 入口集中在 JS 渲染后才出现的链接上，蜘蛛要先排队渲染才可能看到。
- Sitemap 给了 URL，但站内没有对应链接，蜘蛛抓完一次后缺少再次回访的路径。
把关键页面的路径压短
- 确认核心页面从首页出发在三次跳转以内可达。
- 在首页或一级栏目上给核心页面留出稳定入口，而不是只放在页脚。
- 同类内容之间补充相关链接，让蜘蛛从已抓页面继续往下走。
- 分页、筛选这类会大量消耗抓取预算的路径，用合适的规则限制蜘蛛进入。
- Sitemap 与内链相互印证，别让两者指向两套不同的地址。
深度也不是越浅越好
把所有页面都堆到首页，会让首页链接数量膨胀，单个链接分到的注意力下降，也容易让抓取预算浪费在次要页面上。更现实的做法是分层：入口层放稳定的枢纽页面，中间层做分类中转，内容页之间靠相关链接互相连接。层级清晰通常比盲目扁平更有用。
抓取深度只是一个观察角度。它说明路径是否顺畅，不能说明页面一定会被收录，也不代表层数浅就一定排在前面。
怎么自查
- 用站点抓取工具或日志，统计每个 URL 距离入口的最短跳转次数。
- 看服务器日志中蜘蛛的抓取分布，是不是大量集中在少数浅层页面。
- 挑几个核心页面，手动从首页点过去，数一下要点几次。
- 检查新发布的内容，有没有在合理时间内被站内链接指向。
抓取路径的设计没有唯一答案。能做的是让核心页面的入口稳定、层级清晰、链接可走，剩下的交给蜘蛛按自己的节奏处理。