在蜘蛛池里，入口頁是蜘蛛進入的第一站，目标 URL 則是你希望它繼續訪問的下一站。两站之間隔几跳，看起来只是連結层級問题，實际會直接影响蜘蛛愿不愿意繼續走、能走多遠。
抓取深度是什么
這里说的深度，是蜘蛛從入口頁開始，沿着連結往下爬的层數。0 跳指入口頁直接挂着目标 URL；1 跳指入口頁先到中間頁，再從中間頁到目标 URL；2 跳則是再多一层中轉。
蜘蛛的抓取预算和時間都有限，每多一跳，就多一次請求、多一次解析。跳數越多，理论上能到達目标頁的概率越低，尤其当中間頁质量不高、加载慢或者連結不明顯时。
三種常见深度模型
0 跳：入口頁直连目标
入口頁列表直接放目标 URL，蜘蛛一次請求就能看到。優点是路径最短、损耗最小；缺点是入口頁承载的連結多时，單個連結获得的注意力會被稀释，且入口頁容易被识別為纯列表頁。
1 跳：入口頁到中間頁再到目标
入口頁列出若干中間頁，每個中間頁再挂目标 URL。這種结构适合目标 URL 數量大、需要分组的情况，也让蜘蛛有更多理由繼續爬。代價是抓取鏈路變長，中間頁如果只是空壳，蜘蛛可能到這一层就停了。
2 跳及以上：谨慎使用
多級中轉看似能制造更多入口，但蜘蛛未必愿意跟着走完。除非中間頁有實际内容、連結清晰，否則不建议把關键 URL 放在第三层之後。
哪些因素會让蜘蛛在中途停下
- 中間頁返回 4xx、5xx 或長時間無响應；
- 連結被 JS 延迟渲染，蜘蛛初次抓取时看不到；
- 中間頁存在大量重复内容，連結被判定為低價值；
- nofollow、robots 或 meta 标簽挡住了繼續爬的路径；
- 入口頁連結過多，蜘蛛只抓了一部分就离開。
怎么選合适的深度
- 先明确目标：是要让蜘蛛發現 URL，還是希望它進一步抓取内容。發現 URL 可以用 0 跳或 1 跳。
- 看入口頁承载量。連結少时直接放，連結多时用中間頁分组。
- 控制中間頁质量。中間頁至少要有可讀文本、清晰的連結和正常的响應速度。
- 用日誌回看。观察蜘蛛實际走到了哪一层，哪些中間頁被跳過。
- 先小批量測試。同一批 URL 用不同深度投喂，對比日誌再决定是否加量。
深度和連結描述的關系
同样是一跳，連結锚文本是否具体、周围是否有上下文，會影响蜘蛛判断連結價值。把目标 URL 埋在長列表里，和放在一段有描述的文字中，抓取行為可能不同。入口頁和中間頁都應尽量让連結可见、可讀，避免為了凑數量而堆叠無意义的地址。
深度设計只影响蜘蛛發現和抓取路径，並不等于收錄或排名。能否被索引，仍取决于頁面质量、站点整体情况和搜尋引擎的判断。
常见誤区
把深度当成“层數越多越好”是誤区。多一层中轉，就多一次失敗的可能。另一個誤区是只盯着入口頁數量，却忽略中間頁是否值得抓取。蜘蛛走到一個空白頁，通常不會繼續往下找。
實际运营中，可以先维持 0 跳和 1 跳两種结构，用日誌看蜘蛛的停留和繼續抓取情况，再决定要不要加中間层。稳定、可回看的路径，比复杂的层級更有參考價值。