蜘蛛每天愿意花在一个站点上的抓取量，受站点体量、更新频率、服务器响应速度和历史质量共同影响。它不是一个固定额度，而是蜘蛛根据过往经验做出的分配结果。理解这一点，比记住“每天抓多少次”这种说法更有用。
抓取预算花在哪里，通常能看出来
如果服务器日志里同一批 URL 反复出现，而真正需要更新的页面却很久没被访问，多半是抓取路径被无效链接带偏了。常见的情况包括：
- 筛选、排序、分页参数组合出成百上千个地址，内容却高度相似；
- 站内搜索结果页被允许抓取，每个关键词都能生成一个地址；
- 日历、日期归档、无限滚动生成的大批空页面；
- 重定向链条过长，一次抓取被拆成多次请求；
- 大量返回 404、410 或长时间超时的旧链接仍在被内链引用。
这些页面本身未必有害，但它们会占用蜘蛛的请求次数。当抓取被它们吃掉，新页面和更新页面的发现速度就会变慢。
先用日志和索引报告确认，再动手
不要凭感觉判断。把一段时间的访问日志按目录、状态码、响应时间和抓取频率分组，能看到比较清楚的结构：哪些目录被反复抓取，哪些目录几乎没人来。索引报告里“已抓取尚未编入索引”的数量，也能从侧面反映一部分抓取被浪费的情况。
如果某个目录的抓取量很大，但它对应的有效收录很少，就值得检查这个目录是不是由参数或列表组合生成的。反过来，如果核心内容目录的抓取量很低，问题往往出在点击距离太深或内链太少，而不是蜘蛛不想来。
把抓取引导到值得收录的页面
调整的方向通常不复杂，但需要持续维护：
- 用 robots.txt 屏蔽纯参数组合页、站内搜索结果页和排序筛选页，前提是这些页面不承担收录任务；
- 给需要收录的地址稳定的内链入口，避免页面只有一处入口、藏在很深的目录里；
- sitemap 只放规范 URL，并保持 lastmod 真实，不要每次全量刷新时间；
- 清理长期 404 的内链和失效跳转，缩短重定向链；
- 提高服务端响应速度，让每次抓取更快结束，同样时间内能抓更多页面。
更新频率与抓取频率并不完全对应
常更新的页面，蜘蛛通常会提高访问频率，但前提是它每次来都能看到有意义的改动。如果页面每次打开都显示新的时间戳、随机推荐或轮播内容，这些变化很难被当作实质更新，时间一长，回访频率就会降下来。想维持较好的抓取频率，不如让改动真实可辨：正文有实质补充、列表有新增条目、库存或价格有真实变化。
另一个容易被忽略的点是站点整体规模。小站不太需要复杂的预算管理，几十个页面的站点，蜘蛛基本能覆盖完。真正需要认真分配的，是那些由模板批量生成、URL 数量成千上万的站点。
数量不是目标，覆盖才是
调整抓取预算最终要看的是：重要页面是否被更及时地抓取，无效抓取是否下降。收录量增加还是减少，取决于站点实际有多少值得收录的页面。堆砌大量相似页面来换取收录数字，往往会让索引里低质量内容的比例上升，对整体表现没有好处。
把抓取当成一种有限的注意力：先想清楚哪些页面值得被反复看，再把入口留给它们。