在蜘蛛池里，入口页是蜘蛛进入的第一站，目标 URL 则是你希望它继续访问的下一站。两站之间隔几跳，看起来只是链接层级问题，实际会直接影响蜘蛛愿不愿意继续走、能走多远。
抓取深度是什么
这里说的深度，是蜘蛛从入口页开始，沿着链接往下爬的层数。0 跳指入口页直接挂着目标 URL；1 跳指入口页先到中间页，再从中间页到目标 URL；2 跳则是再多一层中转。
蜘蛛的抓取预算和时间都有限，每多一跳，就多一次请求、多一次解析。跳数越多，理论上能到达目标页的概率越低，尤其当中间页质量不高、加载慢或者链接不明显时。
三种常见深度模型
0 跳：入口页直连目标
入口页列表直接放目标 URL，蜘蛛一次请求就能看到。优点是路径最短、损耗最小；缺点是入口页承载的链接多时，单个链接获得的注意力会被稀释，且入口页容易被识别为纯列表页。
1 跳：入口页到中间页再到目标
入口页列出若干中间页，每个中间页再挂目标 URL。这种结构适合目标 URL 数量大、需要分组的情况，也让蜘蛛有更多理由继续爬。代价是抓取链路变长，中间页如果只是空壳，蜘蛛可能到这一层就停了。
2 跳及以上：谨慎使用
多级中转看似能制造更多入口，但蜘蛛未必愿意跟着走完。除非中间页有实际内容、链接清晰，否则不建议把关键 URL 放在第三层之后。
哪些因素会让蜘蛛在中途停下
- 中间页返回 4xx、5xx 或长时间无响应；
- 链接被 JS 延迟渲染，蜘蛛初次抓取时看不到；
- 中间页存在大量重复内容，链接被判定为低价值；
- nofollow、robots 或 meta 标签挡住了继续爬的路径；
- 入口页链接过多，蜘蛛只抓了一部分就离开。
怎么选合适的深度
- 先明确目标：是要让蜘蛛发现 URL，还是希望它进一步抓取内容。发现 URL 可以用 0 跳或 1 跳。
- 看入口页承载量。链接少时直接放，链接多时用中间页分组。
- 控制中间页质量。中间页至少要有可读文本、清晰的链接和正常的响应速度。
- 用日志回看。观察蜘蛛实际走到了哪一层，哪些中间页被跳过。
- 先小批量测试。同一批 URL 用不同深度投喂，对比日志再决定是否加量。
深度和链接描述的关系
同样是一跳，链接锚文本是否具体、周围是否有上下文，会影响蜘蛛判断链接价值。把目标 URL 埋在长列表里，和放在一段有描述的文字中，抓取行为可能不同。入口页和中间页都应尽量让链接可见、可读，避免为了凑数量而堆叠无意义的地址。
深度设计只影响蜘蛛发现和抓取路径，并不等于收录或排名。能否被索引，仍取决于页面质量、站点整体情况和搜索引擎的判断。
常见误区
把深度当成“层数越多越好”是误区。多一层中转，就多一次失败的可能。另一个误区是只盯着入口页数量，却忽略中间页是否值得抓取。蜘蛛走到一个空白页，通常不会继续往下找。
实际运营中，可以先维持 0 跳和 1 跳两种结构，用日志看蜘蛛的停留和继续抓取情况，再决定要不要加中间层。稳定、可回看的路径，比复杂的层级更有参考价值。