把目标頁放進蜘蛛池之後，很多人只盯着一個問题：蜘蛛到底来了没有。但更基础的一层是，蜘蛛從入口頁出發，要经過几次跳轉才能摸到目标頁。這個跳轉次數就是連結深度，它直接决定了抓取能不能顺着鏈路传下去。
為什么深度會影响抓取传導
蜘蛛的爬行是有取舍的。越靠近入口、被鏈出次數越多的 URL，被重新訪問的概率越高；每多一跳，抓取意愿和抓取配額都會被摊薄一点。這不是玄学，而是爬虫资源有限时的自然结果。
深度的损耗主要来自两處：一是每一次跳轉都要重新解析頁面、判断值不值得繼續往下走；二是鏈路變長之後，中間任何一层出問题——超时、返回 5xx、被 noindex 拦住、JS 内容没渲染出来——後面的頁面就直接断供了。鏈路越長，出問题的概率越高。
常见的三種深度结构
- 一层直達：入口頁直接鏈出目标頁。传導最短，适合目标頁數量不多、希望尽快被發現的场景。
- 两层中轉：入口頁 → 分類或聚合頁 → 目标頁。多一层篩選，可以把不相關的爬取挡在外面，但中間层必须有實际内容支撑。
- 多层鏈路：入口頁 → 列表頁 → 詳情頁 → 目标頁。鏈路最長、损耗最大，一般只在目标頁量級很大、需要分批引導时才考虑。
隔几层比較合适
從實际操作看，入口頁到目标頁控制在 1 到 2 跳相對稳妥。超過 3 跳之後，越靠後的頁面被爬到的概率下降會比較明顯，尤其是中間层本身内容單薄的时候。
但深度也不是越浅越好。所有目标頁都直连入口頁，會带来另一個問题：單頁連結數暴涨，每條連結分到的關注度被稀释；同时目标頁與入口頁的主题跨度變大，蜘蛛顺着走過去的意愿反而不高。深度和連結密度需要一起權衡。
怎么把深度控制在合理范围
- 先画出鏈路图。把入口頁、中間层、目标頁的指向關系列清楚，看清哪些目标頁需要绕三四個弯才能到達。
- 統計每层的頁面量。某一层如果堆了几萬個 URL 却只有几十個入口指過去，這一层基本會被爬得很慢。
- 检查中間层的可抓性。狀態碼是否稳定、是否有意外拦截、主要内容是否依赖 JS 渲染，逐項確認後再谈深度。
- 用日誌反查来源。看目标頁的訪問记錄里 referer 落在哪一层，就能判断蜘蛛實际走的是哪條路径，而不是你以為的那條。
- 按结果調整。發現某條鏈路長期没有反馈，優先考虑缩短跳數，或者给中間层补上真正有價值的連結入口。
几個容易踩的誤区
誤区一：只要在入口頁挂上連結，蜘蛛就一定會顺着走到最深處。實际上爬虫會在某一层停下，尤其是中間层看起来没什么可抓内容的时候。
誤区二：為了压缩深度，把成百上千條連結全堆到入口頁。结果每條連結能分到的權重更少，入口頁本身也變得臃肿难解析，得不偿失。
誤区三：只優化深度，不看中間层的质量。一條两跳的鏈路，如果中間层是空白頁或者一堆重复内容，传導效果可能還不如一條结构清晰的三跳鏈路。
小结
連結深度不是越短越好，也不是越深越自然，關键是鏈路要通、每一层都有理由存在。把入口頁到目标頁的跳數控制在 1 到 2 跳、同时保證中間层可抓可取，通常比單纯堆連結更有效。上线之後別忘了用日誌核對實际路径，蜘蛛走的路和你设計的路，往往不是同一條。