蜘蛛進入一個站点，通常從少數几個入口開始：首頁、Sitemap、外鏈指向的頁面。之後它能走多遠、走到哪些頁面，取决于站内的連結路径。同一批頁面，如果從入口出發要经過五六次跳轉才能到達，被發現和被回訪的概率往往低于三层以内的頁面。抓取深度因此成了一個可以观察、也可以調整的變量，而不是只能听天由命的结果。
抓取深度指的是什么
抓取深度一般指蜘蛛從已知入口出發，经過多少次連結跳轉才能到達某個 URL。首頁算第 0 层，首頁直接連結的頁面是第 1 层，再往下依次递增。這個层數不是目錄结构的层數，而是連結跳轉的层數——一個放在深层目錄下的頁面，只要首頁有直鏈，它的抓取深度仍然是 1。
深度為什么會影响抓取
蜘蛛每天能抓多少頁面，受站点規模、服務器响應速度、抓取预算等多方面限制。在同样的预算下，浅层頁面通常會被更频繁地回訪，深层頁面更容易排在队列後面。這不代表深层頁面不會被抓到，而是说它們對入口變更、内容更新的反應更慢，出問题时也更难從日誌里及时發現。
連結本身也是一種信号。被多個浅层頁面連結的 URL，在蜘蛛眼里更像是值得優先走的路；如果只有一個深层頁面的頁脚連結指向它，它的發現優先級自然靠後。
蜘蛛更偏向哪種走法
實际抓取中，广度優先的倾向比較常见：先把同一层出現的大量連結排進队列，再往下走。所以如果重要頁面都挂在某個中层栏目下，而该栏目本身連結很少，蜘蛛可能優先去抓了首頁那一堆浅层但次要的頁面。
常见的路径問题
- 重要頁面只從分頁很深的列表頁可達，越往後翻越难被走到。
- 内容頁之間几乎没有横向連結，全靠栏目頁中轉。
- 入口集中在 JS 渲染後才出現的連結上，蜘蛛要先排队渲染才可能看到。
- Sitemap 给了 URL，但站内没有對應連結，蜘蛛抓完一次後缺少再次回訪的路径。
把關键頁面的路径压短
- 確認核心頁面從首頁出發在三次跳轉以内可達。
- 在首頁或一級栏目上给核心頁面留出稳定入口，而不是只放在頁脚。
- 同類内容之間补充相關連結，让蜘蛛從已抓頁面繼續往下走。
- 分頁、篩選這類會大量消耗抓取预算的路径，用合适的規則限制蜘蛛進入。
- Sitemap 與内鏈相互印證，別让两者指向两套不同的地址。
深度也不是越浅越好
把所有頁面都堆到首頁，會让首頁連結數量膨胀，單個連結分到的注意力下降，也容易让抓取预算浪費在次要頁面上。更現實的做法是分层：入口层放稳定的枢纽頁面，中間层做分類中轉，内容頁之間靠相關連結互相连接。层級清晰通常比盲目扁平更有用。
抓取深度只是一個观察角度。它說明路径是否顺畅，不能說明頁面一定會被收錄，也不代表层數浅就一定排在前面。
怎么自查
- 用站点抓取工具或日誌，統計每個 URL 距离入口的最短跳轉次數。
- 看服務器日誌中蜘蛛的抓取分布，是不是大量集中在少數浅层頁面。
- 挑几個核心頁面，手動從首頁点過去，數一下要点几次。
- 检查新發布的内容，有没有在合理時間内被站内連結指向。
抓取路径的设計没有唯一答案。能做的是让核心頁面的入口稳定、层級清晰、連結可走，剩下的交给蜘蛛按自己的节奏處理。