入口頁被蜘蛛訪問，只是 URL 發現的第一步。真正决定目标頁能不能被發現、多久被發現，往往取决于蜘蛛從入口頁出發愿意走几跳——也就是常说的抓取深度。很多站点把注意力全放在入口頁本身，却忽略了從入口頁到目标頁這段路是不是修得通。
抓取深度在蜘蛛池场景下指什么
简單说，就是從入口頁算起，蜘蛛沿着站内連結跳轉多少次能到達目标 URL。一跳是入口頁直接指向目标頁；两跳是入口頁 → 中間頁 → 目标頁；三跳及以上，就進入了通常说的深层連結。
深度不是越浅越好，也不是越深越差，關键是鏈路要能被连續抓到。只要中間任一层出現不可抓取的連結、返回错誤狀態碼，或者連結被脚本延迟注入，後面的层級基本就断在那里了。
影响蜘蛛走多遠的几個實际因素
- 連結的可抓取性：用 JavaScript 動態拼出来的連結、依赖点击事件才生成的 href，很多抓取端看不到，等于鏈路不存在。
- 單頁連結數量：一個頁面塞几千條連結，蜘蛛往往只處理其中一部分，排在後面的連結容易被忽略。
- 中間頁是否有内容：空白中轉頁、纯跳轉頁，蜘蛛可能抓一次就不再深入。
- 路径是否重复：同一個目标頁由多條不同路径可達，會产生大量重复 URL，分散抓取预算。
- 整体抓取频率：入口頁被訪問的次數有限，深度越大，走到最後几层所需的時間越久。
路径层級怎么摆更實际
多數情况下，把從入口頁到目标頁的层級控制在三跳以内比較好核對：第一跳放分類或聚合入口，第二跳放具体列表或标簽頁，第三跳到達目标頁。层級越多，中間任何一层出問题，排查成本都會成倍增加。
如果目标頁數量多，與其加深层級，不如增加第一、第二层的分流頁，让每條鏈路保持同样的長度。這样日誌里的行為也好統計，出問题时能快速定位是哪一层断了。
常见誤区
- 入口頁一次性铺满所有目标連結，以為越多越好，结果蜘蛛只抓了前面一小段。
- 中間頁為了“快”做成纯跳轉，頁面没有任何可讀内容，蜘蛛走到這里就不再往前。
- 同一目标頁在多個层級、多個頁面重复出現，制造大量重复 URL。
- 中間頁連結用了 nofollow，或者被 robots.txt 挡住，鏈路在中間被自己切断。
- 只盯着入口頁的抓取次數，不看目标頁是否真的出現在日誌里。
怎么驗證鏈路是否走得通
最直接的方式是看訪問日誌：把入口頁、中間頁、目标頁的 URL 拿出来，按時間顺序對照蜘蛛的請求记錄，確認是否存在连續的、带正确 referer 的訪問序列。如果目标頁始终不出現，而入口頁天天被訪問，多半是中間层的問题。
另外可以定期抽查：從入口頁開始，用抓取工具按纯 HTML 解析的方式走一遍，看能不能在有限跳數内到達目标頁，狀態碼是否一路正常。
可以落地的几点建议
- 先画一條完整鏈路，確認每一跳的連結都是服務端可直接輸出的 a 标簽。
- 把每頁的站内連結數量控制在合理范围，重要的目标頁放在靠前位置。
- 中間頁给一点真實内容，哪怕是简短的分類說明，也比纯跳轉頁强。
- 避免同一目标頁产生多條重复路径，能收敛就收敛。
- 用日誌按周核對一次深度鏈路的到達情况，發現断层及时調整。
抓取深度管的是“路通不通”，不是“路多不多”。把鏈路修顺，比無限加連結更有意义。