不少站点运营者会遇到一种矛盾：页面数量不算少，重要内容却没被抓几次，而分类页、标签页、带参数的筛选页在日志里一大片。这通常不是蜘蛛“不喜欢”你的站，而是抓取次数被分散到了价值不高、数量却很大的 URL 上。
抓取预算是什么，不是什么
抓取预算是搜索引擎在单位时间内愿意花在一个站点上的抓取次数上限，它与站点规模、更新频率、服务器响应速度都有关系。它不是可以申请的额度，也不是提交一份 Sitemap 就能换来的承诺。你能做的，是让有限的那几次抓取落在真正需要被发现的 URL 上。
先在日志里看清次数去了哪
不看日志谈预算都是猜。按 URL 路径前缀统计一段时间内的蜘蛛请求，通常能看到几条规律：
- 分类、标签、归档这类聚合页占比往往远超正文页；
- 带排序、筛选参数的 URL 反复出现，内容高度相似；
- 站内搜索结果页、翻得很靠后的列表页被大量抓取；
- 同一内容以带 www/不带 www、带斜杠/不带斜杠等形式被重复抓取；
- 已经下线的 URL 仍被反复请求，返回 404 或走一长串跳转。
把这份分布画出来，就能分清哪些是必要成本，哪些是纯粹的漏口。
四个常见的漏口
1. 参数与筛选页
排序、价格区间、颜色筛选会组合出成百上千个 URL，内容差异却很小。如果这些页面没有独立价值，最好收敛成少数几个入口，其余用 robots 或链接屏蔽处理，而不是全部暴露给蜘蛛。
2. 深分页
列表翻到第二十页之后，被点开的概率已经很低。可以让分页导航只保留前几页，更靠后的内容通过分类、标签或站内搜索进入，避免蜘蛛沿着“下一页”一路走到底。
3. 重复变体
大小写、结尾斜杠、跟踪参数、http 与 https 混用，都会在日志里变成不同 URL。统一跳转规则、写清 canonical，能直接减少这部分消耗。
4. 失效与跳转链
404 和多级跳转同样是抓取成本。定期清理内链里的死链，把多级跳转改成一步到位，省下来的次数可以留给正文页。
把重要 URL 抬到前面
减少漏口只是第一步，还要让蜘蛛更快找到核心页面：
- 首页和栏目页把重要内容放在靠前的位置，不要只在页脚挂一条链接；
- Sitemap 只保留需要被收录的 URL，不必把所有参数页都塞进去；
- 文章之间用相关阅读、上一篇下一篇形成互链，让正文页有多个入口；
- 新增内容在发布后尽快出现在列表页或首页区块，缩短被发现的时间。
服务器响应也别拖后腿
响应慢会直接压缩单次抓取能覆盖的页面数。缓存、压缩、减少同步请求，这些基础工作看起来与搜索无关，实际决定了蜘蛛一次来访能带走多少页面。
按节奏复盘
抓取分布会随改版和内容策略变化。可以每月抽一段日志，对比正文页与聚合页的抓取占比，看看此前的调整是否奏效。不要指望一次改动立刻见效，蜘蛛调整抓取策略需要时间。
任何工具和结构调整都只是提高被发现概率，不构成收录或排名承诺。把结构理清楚、把内容做好，才是长期有效的做法。