很多人盯着收录数看，却忽略了一个前置问题：蜘蛛总共在你站上花多少时间、抓多少个 URL。搜索引擎的资源不是无限的，它会给每个站点分配一个大致的抓取额度，这个额度通常被叫做抓取预算。预算被无关紧要的页面占满，真正需要收录的页面就可能排不上队。
抓取预算不是固定配额，而是动态取舍
需要先说明的是，抓取预算没有公开的固定数字，也没有哪个工具能直接告诉你今天分到了多少。它是搜索引擎根据站点规模、更新频率、响应速度、页面质量等信号综合判断的结果。站点表现好，抓取频率可能提高；问题页面多、响应慢，蜘蛛可能来得更少。
所以讨论预算时，重点不是把额度做大，而是现有的抓取次数是不是花在了该花的地方。
预算常被哪些页面吃掉
- 参数与筛选页：排序、筛选、追踪参数会组合出大量地址，蜘蛛顺着内链走一遍就消耗可观。
- 列表的深层翻页：翻到几十页之后的列表，对用户价值有限，却容易被反复抓取。
- 软 404 与空结果页：返回 200 但内容为空，蜘蛛无法判断该不该放弃，容易反复回访。
- 大量重定向：每跳一次都是一次请求，链式跳转更浪费。
- 站内搜索、日历、打印页等生成型地址：数量近乎无限，是最典型的预算消耗点。
先看日志，再决定收口
判断预算去向，最直接的材料是服务器日志。可以按这几个维度切分：
- 抓取频次最高的目录和 URL 模板，是不是重要内容？
- 状态码分布里，3xx、4xx、5xx 各占多少？异常比例高，说明抓取在浪费。
- 同一个 URL 被重复抓取的次数，是否远超它实际的更新频率？
- 重要页面（新品、核心栏目）的抓取间隔，是否明显长于低价值页面？
看完这些，通常能发现预算被少数几类页面牵着走。
把抓取留给重要页面
- 收敛参数：能合并的筛选、排序参数尽量合并，或让这类页面不要被内链大量指向。
- 处理无价值地址：空结果页、站内搜索结果页，可以考虑用 noindex 或 robots 规则挡掉；注意 robots 挡住后页面上的 noindex 也就读不到了，两者要配合使用。
- 修好错误页面：该 404 的返回 404，该 301 的一次跳到位，避免软 404 和重定向链。
- 提高响应速度：响应慢会直接拉低单位时间内的抓取量。
- 内链指向重点：把站内链接和 sitemap 集中到真正希望被索引的 URL 上。
抓取预算优化的是抓取效率，它能让重要页面更快被发现、更频繁地被重访，但抓取次数多不等于就会被收录，最终还要看页面本身的内容与质量。
别把这套当成速成手段
抓取预算是一个长期变量，调整后往往需要几周甚至更久才能在日志里看到变化。比较稳妥的做法是：先清理明显浪费抓取的地址，再观察重要页面的抓取间隔有没有改善，而不是短期内反复改动站点结构。收录是结果，抓取是过程，把过程理顺，结果才有讨论的基础。