蜘蛛池里被讨论最多的通常是入口頁本身，但入口頁只是起点。真正决定目标頁能不能被抓到的，是入口頁到目标頁之間隔了几跳。蜘蛛顺着連結往下走，每多一跳就多一次分叉，也多一次被放弃的机會。
連結深度到底影响什么
搜尋蜘蛛的抓取资源是有限的：單個站点每次来訪能抓的 URL 數量、愿意停留的時間、對深层頁面的耐心，都有上限。层級浅的頁面更容易被反复抓，层級深的頁面往往只有少量机會，甚至長期不被訪問。
對蜘蛛池来说，這一点會被進一步放大。入口頁數量多、目标頁更多，如果每個入口頁都要经過三四层才能触達目标，蜘蛛很容易在中間层就把预算用完了。
入口頁在结构里的位置
比較清晰的设計是把入口頁当作分發节点，而不是内容终点：
- 入口頁只做一件事，把蜘蛛引向下一层；
- 第二层承担分類或聚合，把同類目标頁归到一起；
- 第三层才是目标頁，或者干脆让目标頁直接出現在第二层。
如果入口頁既想承载内容，又想当分發頁，往往两邊都做不好——連結堆得多，内容又單薄。
從入口到目标，几跳比較合适
经驗上，两跳以内最稳，三跳是常见上限，四跳以上就要重新考虑了。
- 直接連結：入口頁直接连到目标頁。适合目标頁數量不多的场景，抓取路径最短。
- 一层中轉：入口頁 → 列表頁 → 目标頁。這是最常见的结构，兼顾數量和可控性。
- 两层中轉：入口頁 → 分類 → 子分類 → 目标頁。只有当目标頁數量很大、确實需要分類时才用。
判断标准不是能不能走到，而是蜘蛛在有限的抓取里愿不愿意走到。
几種看起来浅、實际很深的寫法
- JS 生成的連結：HTML 里没有 href，蜘蛛需要执行脚本才能看到，很多情况下等同于没有連結。
- 跳轉鏈：入口頁跳到中轉頁，中轉頁再跳向目标頁。每多一次跳轉就多一层不确定性。
- iframe 嵌套：嵌在框架里的連結传递效果弱，层級判断也容易混乱。
- 參數分頁：把目标頁藏在第 12 頁之後，蜘蛛不一定翻那么深。
- nofollow 用错：本意是控制權重分配，结果把通往目标頁的路径也切断了。
怎么確認實际深度
別只看頁面结构图，要看日誌。入口頁上线一段時間後，检查日誌里不同层級的抓取分布：
- 第二层頁面有没有被稳定抓取；
- 目标頁出現的频率，和入口頁的訪問次數是否成比例；
- 哪些連結從没被抓過，它們在结构里的位置有什么共同点。
如果第二层抓得少，先查入口頁的連結是不是太少或太隐蔽；如果第二层正常、第三层几乎没有，說明中轉层没有把路径清楚地交出去。
几個常见誤区
把目标頁全堆在入口頁上，以為連結越多越好，结果入口頁變成連結列表，蜘蛛抓到的東西反而更杂。
- 認為只要连得上就會抓，忽略抓取预算和耐心；
- 层級设計得不错，但連結是脚本生成的；
- 入口頁數量扩了，中轉层没扩，引發瓶颈；
- 没有文字锚文本，連結含义不清，蜘蛛和用戶都难判断指向。
收尾建议
先用少量入口頁驗證一條路径：入口 → 中轉 → 目标，看日誌里蜘蛛能不能按预期走完。確認之後再扩入口頁數量和中轉层，而不是一開始就铺满。連結深度是结构問题，改起来成本不算高，但拖得越久，抓取資料和實际结构越难對上。