很多人盯的是“入口頁有没有被爬”，但真正影响结果的，往往是蜘蛛從入口頁出發後，能不能顺利走到你希望它看到的那一頁。這中間隔了几次点击，就是連結深度。
為什么深度會影响抓取结果
搜尋引擎给每個站点的抓取量是有上限的，這個上限受站点權重、更新频率、服務器响應速度等因素影响。蜘蛛每天能抓的頁面數量有限，它會先把額度花在离首頁近、連結多、看起来更新的頁面上。
深度每增加一层，被抓到的概率就會打一次折扣。不是因為蜘蛛“懒”，而是它必须在有限時間里做取舍：同一批連結摆在面前，浅层的通常先被排队。
深度不是唯一變量，但它往往是运营者自己最容易搞坏的那一個。
入口頁到目标頁，隔几层比較合适
一般的经驗是，從入口頁算起，目标頁尽量控制在三次点击之内。
- 一层：入口頁直接鏈到目标頁。抓取路径最短，适合數量不多、重点明确的頁面。
- 两层：入口頁 → 列表頁或聚合頁 → 目标頁。适合目标頁數量較多、需要先做一次分流的情况。
- 三层：再加一层细分，通常已经是可接受的上限。
- 四层及以上：除非站点体量很大，否則建议用 sitemap、主動推送或入口頁直鏈补一條捷径。
這里的“层”指的是實际可点击路径，不是你規划图里的层級。規划得再整齐，只要中間某一步的連結是脚本生成的，對蜘蛛来说那一层就不存在。
几種把层級悄悄做深的寫法
- 連結靠 JS 動態插入，HTML 源碼里看不到 a 标簽。
- 需要点击“展開更多”“查看全部”才出現的連結。
- 目标頁被塞在分類的最末級，上級頁面本身也不常被爬。
- 入口頁只放几條導航連結，把大量目标頁全交给分頁去带。
- 用跳轉脚本、点击事件代替普通連結。
這些寫法在浏览器里看起来正常，但對蜘蛛来说，路径可能直接断掉，或者绕了一大圈。
把层級压平的几個做法
- 入口頁直接放一批指向重点目标頁的連結，數量控制在合理范围内，不要為了压深度把頁面堆成連結墙。
- 用列表頁、聚合頁、标簽頁承担分流，让蜘蛛先到一层中間頁，再散開。
- 面包屑和返回上級的連結要真實可点，方便蜘蛛在层級之間来回走。
- 連結用标准 a 标簽寫在 HTML 里，必要时配合服務端渲染。
- 分頁別做得太深，超過一定頁數的内容用其他方式暴露路径。
压平不等于把所有連結都塞到入口頁。一個頁面塞几百條連結，蜘蛛分到的權重反而更薄，重点連結也容易被稀释。分层的目的是分流，不是清空层級。
怎么驗證深度是不是真的生效
- 在訪問日誌里按 referer 或路径統計，看蜘蛛是從哪一层走到目标頁的。
- 观察同一批連結的抓取時間分布，浅层連結是否明顯更快被訪問。
- 用抓取工具模拟一次從入口頁出發的完整路径，確認每一步都有可点的 HTML 連結。
- 记錄目标頁首次被發現的時間，和入口頁被爬的時間做對比。
什么时候不必强求压平
站内頁面數量很大时，分层本身就是必要的组织方式。這时候更現實的做法是：把重点頁面放在浅层，其余頁面交给 sitemap、标簽頁和站内搜尋慢慢带，不追求所有頁面都在三层以内。
深度只是抓取路径里的一個环节。把路径理顺，让蜘蛛少走弯路，比反复調整入口頁數量更值得先做。