很多站長讨论抓取时，习惯把注意力放在“蜘蛛来没来”上，但真正影响抓取效率的，往往是站点的结构形状——連結是横向铺開，還是纵向层层深入。本文讨论广度與深度這两個维度對抓取路径的影响，以及怎样用現成資料判断自己站点的形状。
蜘蛛的队列並不完全按你的導航顺序走
從日誌里能看到一個規律：蜘蛛拿到一個頁面後，會先把頁面里的連結丢進待抓取队列，再按調度逻辑依次取出。它更像是一层一层向外扩散，而不是顺着一條线一路钻到底，同一批出現的連結，往往會在相近的時間段被抓完。
這带来两個直接结果：
- 横向連結多的站点，新 URL 被發現得快，但每個 URL 分到的重复訪問次數相對分散。
- 纵向层級深的站点，深层頁面要等前面的层級被反复消化，才轮得到它們。
宽而浅和窄而深，瓶颈各在哪里
宽而浅的结构
首頁或栏目頁直接挂出大量連結，典型场景是电商列表頁、聚合頁。優点是發現路径短，缺点是容易产生大量參數化地址和短暂存在的 URL，抓取预算被重复頁面消耗，真正需要更新的内容反而排不上队。
窄而深的结构
每一层只放少量連結，靠“下一頁”或“查看更多”往下走。好處是頁面之間的主题關系清楚，坏處是走到第四、五层之後，到達频率會明顯下降，日誌里表現為深层 URL 的抓取間隔越来越長。
结构本身没有绝對的好坏，問题在于：站点有没有為重要内容准备一條足够短的路径。
怎么用現成資料判断自己的形状
- 從日誌里筛出抓取次數最多的 100 個 URL，看它們集中在哪些目錄层級。
- 把 URL 按路径段數分组，統計每组的被抓取數量。如果前两层占了大头、深层基本没動静，說明站点偏窄而深。
- 統計同一层級頁面的首次被抓時間差，差距很大通常意味着連結是從不同入口進入队列的。
- 對比 Sitemap 里的 URL 與日誌里實际被抓的 URL，判断蜘蛛有没有绕開站点地图自己找路。
Sitemap 和内鏈在這两個维度上的分工
這两者常被混為一谈，其實作用不同：
- 站点地图解决的是“有哪些 URL”的問题，它提供平铺清單，並不改變站点的纵向深度。
- 内鏈解决的是“從哪里走到”的問题，它决定爬虫在頁面之間移動的路径與层級。
所以当深层頁面長期不被抓取时，往站点地图里补 URL 的效果通常有限，更直接的做法是在离入口更近的位置放一條指向它的連結，比如栏目頁的相關推荐、上一級列表的分頁入口。
調整时常见的几個誤区
- 為了“让所有頁面都浅”而在首頁堆砌大量連結，结果首頁信噪比下降，深层頁面並没有因此變快。
- 把分頁全部改成前端加载更多，連結不再出現在 HTML 里，URL 發現通道被切断。
- 只盯着抓取總量增長，忽略被抓的是不是有效頁面。
可以落地的小步驗證
先用日誌確認形状，再做结构調整，通常比盲目加連結更有效。可以按下面的顺序小步试：
- 挑三到五個希望更快更新的深层頁面，為它們各补一條来自二級栏目的連結。
- 观察两到四周日誌里這些 URL 的抓取間隔變化。
- 如果有效，把這種連結位固定下来；如果没變化，检查頁面本身响應是否偏慢、是否返回了非 200 狀態。
- 定期清理列表頁里指向空结果、重定向或已下线内容的連結，减少無效路径。
结构優化是長期動作，效果通常体現在抓取分布是否更均匀，而不是某一天抓取總量的涨跌。