蜘蛛發現 URL 的主要方式還是跟着連結走。入口頁给得多，它就從入口往外扩散；内鏈铺得顺，深一点的頁面也能被摸到。但扩散不是無限的，頁面离入口越遠，被請求的机會通常越小。

蜘蛛是怎么一层层往外扩的

可以粗略地把抓取理解成广度優先：先抓一批已知 URL，從頁面里提取新連結，再把新連結排進队列，回头再抓。這個队列始终装着待處理地址，蜘蛛按自己的节奏往外推。

關键在于，每一层連結都要等上一层的頁面被抓完、解析完，才可能進入队列。层級越多，等待越久，中間任何一环出問题，後面的 URL 就可能一直排不上。

层級深带来的三個實际影响

• 發現變慢：新發布的深层頁面不會第一時間進入队列，可能几天後才被請求。
• 抓取频次偏低：深层 URL 的重新抓取間隔通常更長，改動後反馈慢。
• 容错變差：中間某一层出現 404、超时或者連結断掉，整條路径後面的頁面都會變得难被發現。

這不等于说层級必须压到两三层。内容量大的站点天然需要分類和归档，重点是把重要頁面放在更浅的位置，而不是把所有頁面都塞進首頁。

導航、面包屑和分類頁在做什么

這三样東西的作用，是给蜘蛛提供稳定的、每頁都存在的路径。

• 主導航：覆盖栏目級入口，决定蜘蛛最先扩散的方向。
• 面包屑：把目前頁和上級串起来，让深层頁面有一條回到浅层的通道。
• 分類頁與标簽頁：作為聚合入口，把同一主题的内容拉到更浅的层級。

如果導航只是图片或者依赖脚本点击，路径就可能断掉。能点開的普通連結更可靠。

列表頁是把深层内容托起来的主要手段

一篇文章纯靠目錄层級，可能要四跳才到；挂進一個列表頁，跳數就能少一半。列表頁的翻頁也承担同样作用，但翻頁參數不要無限膨胀，頁碼拉到几百頁之後，後面的内容基本没什么抓取價值，反而占用队列。

一個常见做法是列表頁只保留最近若干頁可翻，更早的内容通過归档頁或者按時間切分的目錄承接。

連結數量不是越多越好

頁面上連結太密，單個連結分到的關注度會下降；連結太少，發現速度又起不来。比較稳妥的思路是：正文里的相關連結控制在几條到十几條，且确實和目前内容相關；頁脚的全站連結保持精简，不要堆成一大片。

還有一種容易忽略的情况：同一批 URL 在多個頁面反复出現，蜘蛛一遍遍抓却没有新内容。這时可以检查一下是不是模板里挂了太多重复連結。

用抓取日誌核對深度分布

层級是不是真的有問题，日誌比感觉更可靠。

1. 從日誌里筛出蜘蛛的請求，按 URL 路径归到不同目錄层級。
2. 統計每一层的請求次數和去重後的 URL 數，看分布是否断层。
3. 挑几個重要頁面，看它們第一次被抓到距今多久，更新後多久被重新抓。
4. 對照 Sitemap 里的地址，看看哪些長期没被請求，再回到内鏈上找原因。

如果某一层的 URL 數量很多，但請求量骤降，通常說明這一层缺少稳定的上級入口。

几個務實的調整方向

• 把重点栏目放進主導航和首頁可点区域，不要让它們只出現在搜尋框後面。
• 给每個内容頁配面包屑，确儲存在一條從首頁到它的連結鏈。
• 為每個分類维護一個不會失效的列表入口，避免翻頁參數無限延伸。
• 在正文里做相關推荐时，優先指向那些長期缺少抓取的頁面。
• 定期检查内鏈里的 404 和跳轉鏈，断掉的路径不會自己修复。

层級深浅没有统一标准，判断依據應该是重要頁面能否在合理時間内被發現和重新抓取。與其追求绝對扁平，不如保證關键路径始终有可点的連結、不断裂。