抓取预算是什么，为什么蜘蛛池要关心
搜索引擎蜘蛛每天能抓取的页面数量是有限的，这个额度通常被称为抓取预算（crawl budget）。它不是一个固定数字，而是搜索引擎根据站点规模、更新频率、响应速度、内容质量和历史抓取表现动态给出的一个大致范围。
对蜘蛛池来说，这个问题尤其突出：一个入口站点上往往挂着成百上千个入口页，但蜘蛛一天可能只来几百次甚至几十次。如果这些访问被大量无效页面、重复页面和死链消耗掉，真正需要被发现的目标入口页就轮不上。
抓取预算受哪些因素影响
- 站点整体可信度：域名历史、外链情况、内容是否长期稳定更新，会影响蜘蛛愿意给多少额度。
- 响应速度与稳定性：响应慢、超时多、频繁返回 5xx 的站点，蜘蛛会主动降低抓取频率。
- 重复与低价值页面占比：大量参数页、空列表页、内容雷同的页面会摊薄预算。
- 链接结构与 sitemap：入口是否清晰可达，决定蜘蛛能否高效找到有效页面。
- 抓取后的反馈：页面被抓后如果长期不被索引，或频繁返回软 404，额度也会收缩。
哪些页面在悄悄吃掉预算
实际日志里，浪费预算的往往不是明显的垃圾页，而是这几类：
- 分页、筛选、排序参数生成的 URL，同一批内容被反复抓。
- 空白搜索结果页、空栏目页、只有模板没有内容的入口页。
- 已经失效但仍被内链指向的旧 URL，返回 404 或超时。
- 内容高度雷同的入口页，蜘蛛抓了一个就不想抓第二个。
- 被 robots.txt 屏蔽但内链仍然存在的 URL，蜘蛛反复尝试反复被拒。
把额度导向有效入口页的做法
先收敛，再引导
减少无效 URL 的产生源头比事后补救更有效。参数页尽量用 canonical 归并，或直接禁止无意义参数的组合；失效页面该 404 就 404，该 410 就 410，不要用 200 返回一个空壳页面。
用内链和 sitemap 明确优先级
把需要重点抓取的入口页放在首页或列表页靠前的位置，减少点击层级。sitemap 只放真正希望被抓的 URL，不要把全站所有参数页一股脑塞进去——那相当于主动邀请蜘蛛去消耗额度。
给低价值页面明确信号
确认不需要被抓取的页面，用 robots.txt 屏蔽后，记得同时切断站内指向它的链接，否则蜘蛛会持续尝试。对需要保留但不希望被抓的页面，也可以考虑 noindex 配合 nofollow 的组合，但要清楚两者作用不同。
保证响应质量
入口页的响应时间、稳定性会直接影响蜘蛛的抓取节奏。把入口页做轻、保证服务器不频繁抖动，比事后想办法催蜘蛛更有用。
用日志验证预算到底花在哪
看 access log 时，可以按下面几个维度统计：
- 单位时间内各 UA 的请求量，判断蜘蛛访问是涨是跌。
- 被请求 URL 的分布，看是集中在有效入口页，还是散落在参数页、404 上。
- 状态码分布，5xx 和 404 占比过高说明有结构性问题。
- 同一 URL 的重复抓取次数，如果某个低价值页被抓得比入口页还频繁，就要查它的内链位置。
这些数据不需要做得特别精细，按周看一次趋势即可，重点是发现异常而不是追求报表完整。
几个常见误区
抓取量上不去，不代表要靠堆页面解决；很多时候恰恰是页面太多把预算摊薄了。
- 认为提交 sitemap 就等于让蜘蛛优先抓取，实际它只是一个发现通道。
- 认为 robots.txt 屏蔽就等于不抓，实际上被屏蔽的 URL 仍可能因为外链被尝试访问。
- 把抓取次数当成效果指标，抓得多不等于有价值页面被有效覆盖。
小结
抓取预算的核心是取舍：站点能被抓的量有限，就要让有限的访问落在真正需要被发现的入口页上。做法并不复杂——减少无效 URL、理顺内链、控制 sitemap 范围、保证响应稳定，再用日志定期核对实际流向。它不会带来什么立竿见影的变化，但能避免把力气花在蜘蛛根本不会认真看的地方。