讨论收录时经常绕不开「抓取预算」，但这个词容易被理解成一个固定额度：平台每天分配给某个站点的抓取次数。更准确的说法是，它是抓取行为的结果——在站点响应速度、内容更新频率、URL 总量和历史抓取表现的综合作用下，爬虫在一段时间内实际回访了多少次。预算不是一个数字，而是一个观察结论。
抓取预算从哪来，什么站点更需要关心
站点规模越大、URL 越多、响应越慢，抓取被分散带来的影响越明显。几百个页面的小站，通常不用太焦虑；而几万、几十万 URL 的站点，或者页面生成方式会产生大量参数组合的站点，才需要认真对待。常见的信号是：日志里核心页面的回访间隔越来越长，新页面等待被抓的时间变长，同时大量请求落在低价值 URL 上。
常见被浪费的抓取：几类典型入口
- 站内搜索结果页：关键词组合近乎无限，绝大多数没有独立价值，却常被内部链接暴露出来。
- 筛选与排序参数：颜色、价格区间、排序方式等组合，如果没有独立内容，容易形成大量近似页面。
- 日历、无限滚动、输出格式：日期翻页、打印页、导出文件等，往往对用户和索引都意义有限。
- 已删除页面的软 404：返回 200 但内容为空或只提示「已下架」，会被反复抓取。
- 重定向链与失效链接：多跳跳转消耗请求，也可能让目标页面的信号传递不清楚。
- 分页过深：列表第 50 页之后基本无人访问，但爬虫可能逐页跟到底。
先取证：用日志和索引报告对齐事实
- 从服务器日志按目录或模板统计抓取次数、状态码分布、平均响应时间。
- 把抓取量最高的 URL 路径，和索引报告里「已编入索引」「已排除」的数量对照看。
- 找出抓取占比很高、但几乎不带来访问和转化的路径。
- 记录核心页面的最近抓取时间与间隔，作为后续复查的基线。
这一步的意义在于避免凭感觉删路径。有些看似无价值的 URL，其实是站内重要的入口或导航，误屏蔽会连带影响其他页面的发现。
保哪些：按价值排优先级
优先级不必复杂，通常按业务目标排即可：可直接转化的页面、需要及时更新的内容、层级较浅且内链充足的页面排在前面；分页、聚合、筛选等辅助页面排在后面，能收敛就收敛。
- 必须抓：核心类目、商品与文章详情、更新频繁的频道页。
- 尽量抓：重要列表页的前若干页、有独立价值的聚合页。
- 可放弃：站内搜索结果、无效筛选组合、打印与导出页。
- 需处理：软 404、重定向链、重复参数。
提示：robots.txt 屏蔽只能阻止抓取，不能移除已经建立的索引；要让页面退出索引，通常需要它先可被抓取，再用 noindex 或跳转来处理。
落地时容易做错的地方
几个常见误区：一是把 robots.txt 当成删除索引的工具；二是给重要页面加了 noindex，同时又用 robots 屏蔽它，导致爬虫看不到这条指令；三是 sitemap 里塞进全站 URL，包括筛选组合，反而扩大了抓取面；四是只做屏蔽不复盘，几个月后参数结构变化，又出现新的浪费。
技术手段按成本从低到高大致是：减少无效内链入口、规范 URL 参数、返回正确的状态码、必要的 robots 屏蔽、最后才是 noindex。
复查：用同一套指标看变化
调整后不要只看单日数据。用相同口径的日志统计，观察两到四周：核心页面的抓取间隔是否缩短、低价值路径的请求是否下降、新页面首次被抓的时间是否有变化。抓取预算的改善通常表现为抓取分布的变化，而不是总量猛增。
抓取预算管的是把有限请求花在哪里，它会影响发现和更新效率，但不直接等于收录结果。页面最终能不能进索引，还是取决于内容本身是否值得、是否可访问、是否与其他页面高度重复。