抓取预算这个词容易被误解，它并不是后台能查到的某个具体数字，而是搜索引擎在给定时间内愿意花在一个站点上的抓取资源总量。这个量由站点规模、更新频率、服务器响应情况、历史抓取质量共同决定，会随站点状态变化。理解它的意义在于：当蜘蛛一天只能抓那么多页面时，时间花在哪里，就直接影响哪些页面能被及时发现。
抓取预算通常被什么影响
站点体量越大、内容更新越频繁，额度一般越宽松；反过来，频繁超时、5xx、大量空页面，会让额度逐渐缩水。内链和外链构成的发现路径也有影响：入口清晰、层级合理的站点，蜘蛛更容易判断哪些页面值得反复回访。
常见的白白消耗
- 带参数的筛选、排序、追踪 URL：同一批内容生成成千上万条地址，蜘蛛逐条访问，拿到的却是高度相似的页面。
- 站内搜索结果页：用户输入任意关键词都能生成一个新页面，蜘蛛顺着链接爬进去，几乎是没有边界的内容空间。
- 会话 ID、来源跟踪参数：每次访问都生成新地址，在蜘蛛看来就是一批「新页面」。
- 标签与归档的过度组合：标签两两组合、按月按年归档层层叠加，产生大量低价值列表。
- 分页一路翻到底：深层分页对用户和搜索引擎价值都低，却占用了可观的抓取次数。
- 软 404 与空结果页：返回 200，内容却是空的，蜘蛛反复访问、反复失望。
- 重定向链与慢响应：每次访问都要多走几步，响应慢的页面还会拖慢整体抓取节奏。
先看日志，再决定屏蔽什么
动手之前，先从服务器日志或搜索后台的抓取统计里看清楚：蜘蛛在哪些目录花的时间最多，哪些目录返回的状态码不正常，哪些地址明显是由参数拼出来的。把抓取次数按目录、按模板分组统计，异常通常一眼就能看出来，比凭感觉屏蔽要可靠得多。
一个大致的收口顺序
- 先修 5xx、超时和明显的软 404，这部分属于纯损耗。
- 再处理重复与参数：能规范化的规范化，能合并的合并，不要指望 canonical 减少抓取次数。
- 对确实没有索引价值的参数页、站内搜索结果页，用 robots.txt 或页面级手段收口。
- 收敛内链：从导航、列表、正文里去掉指向低价值页面的入口。
- sitemap 只保留希望被抓取且状态正常的地址，lastmod 要如实填写。
- 提升响应速度与缓存命中率，让蜘蛛每次来访都有所收获。
几个容易搞混的边界
- robots.txt 屏蔽是「不抓取」，页面仍有可能留在索引里；noindex 是「抓取但不索引」。两者要配合使用，不能互相替代。
- canonical 表达的是以哪个版本为准，并不能阻止蜘蛛访问其他版本。
- nofollow 影响的是链接关系的传递，不保证蜘蛛一定不去访问。
- 抓取效率提升只是让值得抓的页面更快被发现，是否收录仍取决于页面自身的质量与价值。
收口之后怎么观察
不要当天就下结论。抓取分布的变化通常需要几周才能体现，按周对比日志里各目录的抓取占比，比盯单日数字更有意义。如果收口之后重要页面的被抓取次数并没有上升，说明瓶颈可能不在参数页上，而更可能在响应速度、页面更新频率或者页面本身的价值信号上。