不少站点在改版或频繁新增栏目之後，會出現一個共性現象：首頁和一級栏目被抓取得很勤，越往下的頁面被抓取的机會越少。除了内容质量與更新频率，抓取路径本身的長短也在影响蜘蛛愿不愿意繼續往下走。這篇文章從层級深度出發，聊一聊抓取深度衰减的判断方式與路径压缩的常见做法。
抓取深度是怎么被消耗掉的
蜘蛛從入口頁開始，沿着内鏈逐层展開。每多一层，就多一次跳轉、多一次請求，也要多消耗一部分抓取预算。当层級超過三到四层，中間還夹着列表分頁、篩選頁這類低價值頁面时，真正想被抓取的内容頁就容易被淹没在調度队列里。
深度問题通常不會單獨出現，它往往和下面几種情况叠加在一起：
- 栏目下再分二級分類，二級分類下還有年份、地区、标簽等细分頁；
- 列表頁只展示前若干條，舊内容只能靠不断翻頁到達；
- 詳情頁的入口只在某個聚合頁出現一次，没有其他路径补位；
- 面包屑和主導航都指向首頁與一級栏目，對深层頁面几乎没有帮助。
先確認問题是否真的存在
在動手改结构之前，建议先用日誌和抓取資料確認深度确實是瓶颈。可以按下面的顺序做一次简單判断：
- 從服務器訪問日誌中，按路径层級統計蜘蛛請求的分布，看請求是否明顯集中在浅层路径。
- 對比 Sitemap 中提交的 URL 數量與日誌里實际被抓取的 URL 數量，观察深层 URL 的占比。
- 抽查若干長期未被抓取的頁面，记錄它們從首頁出發的最短点击距离。
- 检查這些頁面是否存在除列表頁之外的入口，比如相關内容、标簽頁、专题頁。
- 排除服務器响應、狀態碼、robots 規則等更基础的問题之後，再把原因归到路径深度上。
如果浅层頁面抓取频次正常，深层頁面的抓取几乎為零，同时這些頁面的响應速度和狀態碼都没有異常，那么路径深度和入口數量就是比較合理的怀疑方向。
路径压缩的几種常用做法
1. 减少不必要的中間层
很多层級是為了後台管理方便而设計的，前端呈現並不需要照搬。可以考虑把“栏目—子栏目—列表—詳情”压成“栏目—列表—詳情”，把细分维度改成列表頁上的篩選條件，同时确保篩選结果頁不會被大量索引。
2. 让重要頁面拿到多條入口
只有一條路径的頁面比較脆弱，一旦上一級列表分頁很深，就再也没有被發現的机會。可以通過相關内容模块、同主题聚合、标簽頁等方式，為深层頁面补充第二、第三條入口。入口不必多，但需要稳定地存在于常被抓取的頁面上。
3. 控制列表分頁的深度
分頁越深，越靠後的内容越依赖翻頁。如果某個列表有几十頁，可以考虑按時間归档拆成多個入口，或者提供按分類、按标簽的横向切分，让每個入口下的頁數保持在一個較短的范围内。
4. 把 Sitemap 当作补充而不是替代
Sitemap 能帮助發現内鏈較弱的 URL，但它並不改變頁面之間的可達關系。把它当成兜底入口，同时繼續優化内鏈，两者配合會更稳妥。
路径压缩的目标不是把所有頁面都堆到首頁，而是让每一层都能被合理暴露，並让重点内容不必走很遠就能被到達。
調整之後重点观察什么
结构改完不要期待立刻出現明顯變化。可以按周观察日誌中深层路径的請求占比、被請求 URL 的總量變化，以及新頁面從發布到首次被抓取的時間間隔。如果深层頁面開始出現抓取，且没有带来服務器负载異常，說明方向大致可行；如果抓取總量上升但内容頁面的請求占比没有變化，可能就要重新审视哪些頁面值得保留入口。
另外，路径調整往往伴随 URL 變更，需要同步處理跳轉、Sitemap 更新和舊入口回收，避免在压缩层級的同时又制造出新的重复入口。