不少站点运营者會遇到一種矛盾：頁面數量不算少，重要内容却没被抓几次，而分類頁、标簽頁、带參數的篩選頁在日誌里一大片。這通常不是蜘蛛“不喜欢”你的站，而是抓取次數被分散到了價值不高、數量却很大的 URL 上。
抓取预算是什么，不是什么
抓取预算是搜尋引擎在單位時間内愿意花在一個站点上的抓取次數上限，它與站点規模、更新频率、服務器响應速度都有關系。它不是可以申請的額度，也不是提交一份 Sitemap 就能換来的承诺。你能做的，是让有限的那几次抓取落在真正需要被發現的 URL 上。
先在日誌里看清次數去了哪
不看日誌谈预算都是猜。按 URL 路径前缀統計一段時間内的蜘蛛請求，通常能看到几條規律：
- 分類、标簽、归档這類聚合頁占比往往遠超正文頁；
- 带排序、篩選參數的 URL 反复出現，内容高度相似；
- 站内搜尋结果頁、翻得很靠後的列表頁被大量抓取；
- 同一内容以带 www/不带 www、带斜杠/不带斜杠等形式被重复抓取；
- 已经下线的 URL 仍被反复請求，返回 404 或走一長串跳轉。
把這份分布画出来，就能分清哪些是必要成本，哪些是纯粹的漏口。
四個常见的漏口
1. 參數與篩選頁
排序、價格区間、颜色篩選會组合出成百上千個 URL，内容差异却很小。如果這些頁面没有獨立價值，最好收敛成少數几個入口，其余用 robots 或連結屏蔽處理，而不是全部暴露给蜘蛛。
2. 深分頁
列表翻到第二十頁之後，被点開的概率已经很低。可以让分頁導航只保留前几頁，更靠後的内容通過分類、标簽或站内搜尋進入，避免蜘蛛沿着“下一頁”一路走到底。
3. 重复變体
大小寫、结尾斜杠、跟踪參數、http 與 https 混用，都會在日誌里變成不同 URL。统一跳轉規則、寫清 canonical，能直接减少這部分消耗。
4. 失效與跳轉鏈
404 和多級跳轉同样是抓取成本。定期清理内鏈里的死鏈，把多級跳轉改成一步到位，省下来的次數可以留给正文頁。
把重要 URL 抬到前面
减少漏口只是第一步，還要让蜘蛛更快找到核心頁面：
- 首頁和栏目頁把重要内容放在靠前的位置，不要只在頁脚挂一條連結；
- Sitemap 只保留需要被收錄的 URL，不必把所有參數頁都塞進去；
- 文章之間用相關阅讀、上一篇下一篇形成互鏈，让正文頁有多個入口；
- 新增内容在發布後尽快出現在列表頁或首頁区块，缩短被發現的時間。
服務器响應也別拖後腿
响應慢會直接压缩單次抓取能覆盖的頁面數。缓存、压缩、减少同步請求，這些基础工作看起来與搜尋無關，實际决定了蜘蛛一次来訪能带走多少頁面。
按节奏复盘
抓取分布會随改版和内容策略變化。可以每月抽一段日誌，對比正文頁與聚合頁的抓取占比，看看此前的調整是否奏效。不要指望一次改動立刻见效，蜘蛛調整抓取策略需要時間。
任何工具和结构調整都只是提高被發現概率，不构成收錄或排名承诺。把结构理清楚、把内容做好，才是長期有效的做法。