蜘蛛池里放的是入口頁，但真正想被發現的往往是目标頁。蜘蛛從入口頁出發，沿着連結一层层往下走，這中間隔了几跳，就是連結深度。它不直接决定收錄结果，却會影响蜘蛛有没有机會走到那一頁。
蜘蛛不是無限往下爬的
搜尋引擎给每個站点的抓取配額是有限的。蜘蛛進入一個入口頁後，會先抓目前頁，再挑一部分連結繼續抓。层級越深，被挑中的概率越低，因為前面還有大量同級連結在排队。常见的現象是：第一层連結抓取比例較高，第三层之後明顯衰减。
蜘蛛還有回头再抓的机制。如果某一层長期没有新内容，或者返回異常，它可能降低對该分支的訪問频率。所以深度問题往往不是完全爬不到，而是爬得慢、爬得少。
入口頁到目标頁的典型层級
- 第一层：入口頁直接指向目标頁，一跳到達。
- 第二层：入口頁 → 栏目頁或列表頁 → 目标頁。
- 第三层：入口頁 → 栏目 → 子栏目 → 目标頁。
- 再深處：還要经過分頁、标簽頁、归档頁才能到達目标頁。
一般建议把重要的目标頁控制在三跳以内。超過四跳，就该检查一下是不是绕了不必要的弯路。
深度浅不等于结构好
有些站点為了压低深度，把几百個連結全铺在入口頁上。這样第一层确實浅了，但單頁連結過多，蜘蛛分配到每條連結上的注意力反而下降，頁面本身也容易顯得像纯連結集合。
深度是路径長度，連結密度是一個頁面上有多少出口，這两件事要放在一起看，只看其中一個都容易走偏。
容易把蜘蛛带偏的几種结构
只留下一頁的分頁鏈
列表頁分頁如果只保留下一頁按钮，蜘蛛會一直顺着往後翻，翻到第十几頁时，路径已经很長了，而後面這些頁面上的連結價值並不高。抓取量被消耗在後段，前面真正需要抓的目标頁反而被挤掉。
标簽頁與归档頁
标簽頁和归档頁很容易生成大量相似的路径，同一個目标頁可以通過多條深鏈到達。蜘蛛會重复抓取，日誌里同一 URL 反复出現，但實际可用的路径並没有增加。
目錄之間的循环跳轉
多個入口頁互鏈，或者列表頁與詳情頁互相回鏈，就形成了环。蜘蛛在里面绕圈，抓取预算被消耗在已经抓過的頁面上，不容易触達新的内容。
落地的几條做法
- 给重要的目标頁留一條從入口頁出發的最短路径，减少中間的過渡层。
- 控制單頁導出的連結數量，次要連結可以放到更深一层，或者折叠起来。
- 分頁使用明确的關系标记，或者提供查看全部的方式，避免無限翻頁。
- 标簽頁、归档頁如果價值不高，可以用 noindex 或 robots 限制，减少重复路径。
- 定期看抓取日誌，統計目标頁被訪問时的来源层級，而不是只盯着抓取總量。
怎么判断深度是否合理
可以在日誌里筛出目标 URL 的抓取记錄，看看蜘蛛是從哪一层過来的。如果大部分訪問都来自很深的分頁或者标簽頁，說明主路径没有被走通，需要补一條更直接的連結。
也可以用站内搜尋頁、sitemap 把重要 URL 直接递给蜘蛛，作為深路径的补充手段，但不要完全依赖它。核心路径仍然要靠入口頁的层級结构来搭。
小结
連結深度是蜘蛛路径規划里比較實际的一個指标。入口頁不必把所有内容都摊在表面，但至少要让蜘蛛有一條清晰、短、不绕圈的路走到目标頁。把這條路径理顺之後，再去關注抓取频次和资源接入，效果會更容易观察。