做蜘蛛池时，入口頁的數量、域名和 IP 往往被反复讨论，但從入口頁到目标頁之間的連結层級，却经常被忽略。爬虫是顺着連結走的，每多一层跳轉，就多一次解析、排队和優先級判断。层級越深，目标頁被發現、被安排抓取的机會就越不确定。
爬虫是怎么從入口頁走到目标頁的
調度器拿到入口頁 URL 之後，會抓取頁面、解析 HTML、抽取其中的連結，把新發現的 URL 放進待抓取队列。這個過程可以重复，但不會無條件地一直往下走。待抓队列里的每個 URL 都有優先級，而連結深度是影响優先級的因素之一。
換句话说，入口頁本身被爬虫抓到，只是第一步。目标頁能不能進入队列、以什么顺序進入队列，取决于它离入口頁有多遠、中間经過了什么頁面。
一跳、两跳、三跳，差別在哪
如果目标連結直接寫在入口頁上，就是一跳。爬虫抓到入口頁，解析後立刻就能看到目标 URL，這是最短路径。
如果在入口頁和目标頁之間加了一层中間頁，比如一個列表頁、聚合頁或者分類頁，就變成两跳。爬虫要先抓中間頁，再從中間頁里找到目标連結。多出来的這一跳，會消耗一次抓取配額，也會让目标頁的發現時間往後排。
三跳及以上的情况，問题會更明顯：
- 發現鏈路變長，目标頁進入待抓队列的時間被拉長。
- 中間頁如果抓取失敗、返回異常狀態碼或者内容為空，鏈路就断了。
- 中間頁一旦被判定為低质量，爬虫可能不再繼續往下跟。
- 同一批目标頁分散在不同深度的鏈路上，抓取节奏會更难预测。
所以讨论深度，本质是在讨论“有多少环节可能出問题”。环节越多，不确定性越大。
深度和抓取预算要放在一起看
爬虫在單個站点或單批资源上有大致的抓取額度。入口頁、中間頁、目标頁都在消耗這份額度。如果中間层太多，预算會大量花在“過路頁”上，真正想让它抓的目标頁反而分不到多少。
這也是為什么有些池子看起来抓取量不低，但落到目标頁的抓取记錄很少——抓取被中間层吃掉了。入口頁、中間頁、中間頁、目标頁這種结构，爬虫每往下一层都要花一次成本，而收益是滞後的。
把連結深度压下来的几種做法
- 目标連結直接放入口頁：在入口頁正文或列表里直接出現目标 URL，减少中間跳轉。
- 控制中間頁數量：能一层解决的就不要做两层，尤其是纯導航性质的頁面。
- 让中間頁有真實内容：如果确實需要中間层，頁面不能是空壳，至少要能被解析出有效連結。
- 避免連結藏在脚本里：靠 JS 渲染出来的連結，不一定能被顺利抽取，等于人為增加了深度。
- 减少重复連結：同一個目标 URL 在多個位置反复出現，不會让發現更快，反而容易稀释頁面里的有效連結密度。
几個常见的理解偏差
有人觉得层級越深，連結传递的作用越强，這没有依據。深度不产生額外價值，它只增加被發現的成本。也有人認為只要入口頁數量足够多，深度問题可以忽略，但如果每一层都要消耗抓取額度，入口頁再多也只能摊薄到更長的發現鏈路上。
深度不是越多越好，也不是越浅越萬能。關键是在可维護的前提下，让目标頁离入口頁尽可能近，同时中間的每一跳都有存在的理由。
日常可以检查的几個点
- 入口頁源碼里，目标連結是否直接可见，還是需要经過跳轉或脚本渲染。
- 中間頁的抓取狀態碼是否正常，有没有大量 4xx、5xx 挡住鏈路。
- 同一批目标頁的連結深度是否统一，避免深浅混杂導致抓取节奏不可控。
- 抓取日誌里，真正落到目标頁的請求占整体請求的比例大概是多少。
把這几項定期看一眼，比單纯追求入口頁數量更容易發現問题。連結深度不顯眼，但它决定了入口頁的抓取能不能顺利传導到目标頁。