站点的抓取额度不是无限的。搜索蜘蛛在一个站点上愿意花多少请求，取决于它能从这里拿到多少新内容、站点响应有多快，以及有多少重复入口在分散注意力。抓取预算做不好，表现往往不是“完全不抓”，而是重要页面很久不更新，低价值页面却被反复扫描。

抓取预算由两个变量决定

一个变量是抓取需求，也就是搜索引擎认为这个站点值得投入多少资源，跟内容更新频率、历史抓取效果有关；另一个变量是抓取容量，受服务器响应时间、错误率、并发承载能力限制。两者相乘，才是实际能拿到的抓取次数。很多人只盯着“蜘蛛来了几次”，忽略了服务器端变慢会让同样的额度缩水。

哪些 URL 在悄悄消耗额度

• 带参数的筛选、排序、会话 ID 地址，内容几乎相同却各自占一次抓取；
• 站内搜索结果页、日历页、标签聚合页，能无限生成新地址；
• 已经 404 或长期返回 5xx 的历史地址，被反复重试；
• 分页很深的列表页，翻到后几十页早已没有新链接；
• 同一内容的多套地址（www 与非 www、带斜杠与不带斜杠）未做归一。

这些地址本身不一定“错”，问题在于它们对 URL 发现的贡献很低，却按正常页面消耗抓取次数。

把额度留给有抓取价值的页面

1. 明确入口优先级

首页、栏目页、更新列表这些承担 URL 发现职能的页面，应该保持在浅层、可快速返回，并且内容变化时确实更新。蜘蛛在这些页面上花的时间，通常回报最高。

2. 收敛地址形态

用 301 把重复地址归到唯一版本，用 canonical 表明首选地址，用 robots.txt 屏蔽确实不需要抓取的路径。屏蔽是最后一步，先确认这些地址真的不会带来新 URL。

3. 让服务器稳定优先于功能丰富

响应时间从 200ms 拖到 2s，同样的抓取额度能覆盖的页面数量会明显下降。抓取高峰期的数据库查询、动态渲染、第三方脚本，都可能让蜘蛛等在那里。

用日志看额度花在了哪

把一段时间内的蜘蛛日志按目录、状态码、URL 形态分类统计，通常能看到额度分布和预期不一致的地方：某类参数页占了很大比例，或者某个栏目几乎没被访问。调整内链权重、屏蔽规则、Sitemap 里的重点 URL，再观察下一周期的日志，比凭感觉猜测更可靠。

抓取预算不是“越多越好”，而是让每次抓取都对应一个可能被发现的新 URL，或一次有效的内容复查。

最后提醒一点：不要指望通过某种技巧让蜘蛛无限增加访问量。真正能改善抓取的，是站点结构清晰、响应稳定、内容确有更新。这三件事同时成立时，额度自然会流向该去的地方。