站点的抓取预算不是平台给固定配額，而是蜘蛛在單位時間内愿意花在某個站上的請求次數。頁面深度，也就是從首頁出發需要点击几次才能到達，會直接影响這些請求落在哪些 URL 上。当目錄层級過深、列表頁翻頁過多时，预算會被大量中間层頁面吃掉，真正需要更新的詳情頁反而迟迟排不上一次回訪。
頁面深度怎么定义和记錄
通常把首頁记為第 0 层，主導航指向的栏目頁為第 1 层，栏目下的列表為第 2 层，詳情頁為第 3 层，再往下如标簽頁、归档頁、相關推荐繼續累加。
记錄时不要只算静態目錄层級，還要算“連結可達层級”。同一篇内容可能從首頁推荐位一层可達，也可能只能從三級目錄绕進去，取最短路径更接近蜘蛛實际的選擇依據。
從日誌量化深度分布
- 按 URL 路径規則给頁型归類：栏目頁、列表頁（含分頁）、詳情頁、标簽聚合頁；
- 統計每類 URL 的獨立抓取次數與回訪間隔，而不是只看總請求量；
- 借助 referrer 判断蜘蛛是從哪一层爬進来的，確認入口层級；
- 抽查深层詳情頁，看是否長期只有一次抓取、之後再無回訪。
這一步的目的是找出预算被谁消耗。比較常见的结果是：列表頁和分頁 URL 占了總請求的一半以上，詳情頁只占很小一部分。
典型的预算错配
- 分頁没有上限，翻頁一直到底部，每頁都生成獨立 URL；
- 篩選與排序參數在列表頁上叠加，入口數量成倍膨胀；
- 归档頁、标簽頁、日歷頁把深层詳情挤到队列後面；
- 首頁與栏目頁堆叠大量推荐位，同一批 URL 被反复抓取；
- 詳情頁之間只有“上一篇／下一篇”，缺少横向連結。
調整顺序
- 先收缩低價值入口：给分頁設定合理上限，參數组合頁用 robots 或 nofollow 收敛；
- 把重要詳情頁提到浅层：在首頁或栏目頁保留固定入口区块，並保持連結位置稳定；
- 在詳情頁之間补充相關連結，让蜘蛛不必每次回到列表頁再出發；
- 核對 Sitemap 中的深层 URL 是否與站内可達路径一致，避免只提交却無内鏈支撑；
- 最後確認服務器稳定性，5xx 與超时會直接吃掉预算，深度優化做得再好也會被抵消。
内鏈位置對優先級的影响
同一层級的两個連結，位置不同效果也不同。正文首屏内的連結、列表頁前几條的連結，通常比頁脚、侧栏滚動区域的連結更容易被跟随。整理内鏈时可以先保證重点栏目在首屏有稳定入口，再考虑补充其他位置，而不是一次性把連結铺满全站。
抓取预算的調整属于長期观察項，改動後通常需要几周才能在日誌上看到趋势變化，不建议用一两次抓取波動就下结论。
观察與驗證
- 詳情頁從首次抓取到回訪的間隔是否缩短；
- 列表頁請求占比是否下降、詳情頁占比是否上升；
- 深层頁面是否開始出現零星抓取，而不是長期只集中在头部内容；
- 調整期内服務器响應是否稳定，是否出現集中 5xx。
頁面深度决定蜘蛛到達内容需要付出的成本，抓取预算决定它愿意付多少次。把层級压浅、把入口收敛、把低價值 URL 控制住，通常比反复提交 Sitemap 更有實际意义。需要說明的是，以上做法只是提高被發現和被回訪的概率，並不构成收錄或排名的保證。