在讨论抓取时，常會听到“三层以内”“不超過三跳”這類说法。它們更像是经驗總结，而不是蜘蛛的硬性規則。蜘蛛實际能走多深，取决于入口、連結分布、站点規模以及服務器响應状况。

抓取深度是怎么形成的

蜘蛛的工作方式是队列式的：先從已知入口（首頁、Sitemap、外部連結等）拿到一批 URL，抓完一頁後，把頁面上的連結加入队列，再按調度顺序繼續。所谓深度，就是這個過程自然形成的层級——首頁算第一层，首頁直接鏈到的算第二层，依此類推。

• 入口頁的數量與质量：入口越丰富，队列起点越多。
• 頁面上的連結數量：一頁给出 20 個連結和 200 個連結，扩散速度不同。
• 連結是否可抓取：需要脚本渲染後才出現的連結，往往要等更久。
• 服務器响應與抓取预算：响應慢、错誤多，队列推進就慢。

首頁往下常见的几跳

多數站点會形成這样一條路径：首頁 → 栏目頁 → 列表頁 → 詳情頁。列表頁如果有翻頁，路径還會繼續拉長，靠後几頁的詳情頁通常比第一頁晚被發現。

這並不等于深頁不會被抓取，而是發現更慢、分到的抓取次數更少。站点規模越大，這種差异越明顯。

把层級压平，不等于全塞進首頁

有人為了缩短路径，把几十上百個連結堆到首頁。结果是首頁連結價值被稀释，用戶浏览体驗也變差。更稳的做法是：用栏目索引頁和专题聚合頁承担分流，让每一层都有清晰的入口。

面包屑與相關推荐的價值

面包屑提供一條向上的路径，相關推荐提供横向的路径。它們不會改變抓取規則，但能缩短從已知頁面到目标頁的跳數，也给了深层頁更多被連結的机會。

對于更新不频繁的老文章，站内推荐位、标簽頁、归档頁往往比等着蜘蛛自己翻回去更可靠。

如何观察自己站点的抓取深度

• 看日誌：把被抓取的 URL 按目錄分组，观察哪些目錄長期只有第一頁被訪問。
• 看入口頁：Sitemap 中列出的深层頁，是否真的出現過抓取记錄。
• 看内鏈：随机抽一些深层頁，检查有多少頁面鏈向它，連結在頁面中的位置是否靠前。
• 看响應：响應慢、错誤率高的目錄，抓取量通常最先下降。

深层頁面的處理建议

1. 把有價值的深层頁提到栏目首屏、专题頁或推荐位。
2. 分頁列表保留可抓取的連結，避免只靠“加载更多”按钮。
3. 减少只能通過复杂參數或表單才能到達的頁面。
4. 定期排查没有任何内鏈指向的孤立頁。

抓取深度是结果，不是開關；真正能調整的是連結分布與入口设計。

几個常见誤解

一是認為超過三层的頁面不會被抓取，實际上並没有這種硬性限制，只是抓取机會递减。二是認為連結越多越好，入口頁連結過密反而分散。三是只看 Sitemap 而忽略站内連結——Sitemap 是入口之一，並不替代内鏈结构。

與其纠结具体层數，不如定期查看日誌和抓取統計，找出發現較慢的目錄，從内鏈、聚合頁和响應速度上做調整。這類改動见效需要時間，观察周期建议以周為單位。