入口页从几十个扩到几千个，很多人的第一反应是“链接变多了，搜索蜘蛛应该来得更勤”。实际情况通常不是线性增长。抓取预算是搜索引擎在单个站点或主机层面愿意投入的抓取资源上限，入口页只是被发现的对象，不是决定预算的开关。把这两件事混在一起，很容易在做完扩容后发现日志里的抓取量没什么变化，却找不到原因。
抓取预算大致由什么约束
预算主要受两方面影响：一是站点本身的健康度，包括响应速度、错误率、内容更新频率以及搜索引擎对该站重要性的判断；二是搜索引擎自身的资源调度策略。入口页数量增加，只是把候选 URL 池变大。如果所在主机响应慢、返回 5xx 的比例高，抓取会大量消耗在失败重试上，最终落到目标 URL 上的次数可能反而更少。
换句话说，预算更像是“上限”，而不是“配额发放”。站点表现越好，搜索引擎越愿意在同样的时间窗口里多抓几次；表现变差，上限会自动收紧，跟入口页放了多少链接关系不大。
入口页变多时，先卡住的通常不是“发现”
- 入口页所在主机响应变慢，抓取队列滞塞，新 URL 只能排在队尾
- 大量入口页内容高度相似，容易被合并处理，只有一部分真正进入抓取队列
- 同一批目标 URL 被反复写在多个入口页里，去重后没有带来新增量
- 入口页自身返回 4xx、5xx 或超时，白白占用抓取份额
- 目标 URL 在 robots.txt 或服务器层被挡住，蜘蛛到了门口也进不去
这几项里，前三项属于结构问题，后两项属于配置问题。结构问题需要减少冗余，配置问题需要逐条核对，通常比继续加页面更有效。
扩容前后可以重点观察的指标
- 日志中入口页的抓取频次与状态码分布，看 5xx 与超时比例有没有上升
- 目标域名下被实际抓取的 URL 数量，而不是入口页的数量
- 从首次发现到首次抓取之间的间隔是否被拉长
- 抓取深度，是否长期停留在入口页的第一层就不再往下走
- 同一 IP 段或同一 UA 的请求在时间上的分布是否变得更零散
这些指标不用天天看，但扩容后的一到两周值得对比一次。如果入口页数量涨了三倍，而目标域名下的实际抓取 URL 数几乎没动，说明瓶颈不在“发现”这一步。
两个常见误解
误解一：入口页越多，抓取量就一定越大
入口页只是路标，真正消耗预算的是被跟到的目标 URL。如果目标站本身响应慢，或者存在大量带参数的重复页面，增加入口页并不会让有效抓取变多，只是把同一份预算摊薄到更多候选地址上。
抓取预算是“上限”，不是“按入口页数量发放的配额”。扩入口页不等于扩预算。
误解二：批量加页面不会影响现有收录
主机资源是共享的。入口页所在服务器如果承受不住新增压力，既有的抓取同样可能被拖慢。比较稳妥的做法是分批上线，观察日志一到两周再决定是否继续扩，而不是一次性铺满。
实操上的几点建议
- 入口页保持可抓取、可解析，避免链接完全依赖 JavaScript 渲染或被交互隐藏
- 同一 URL 尽量不在同一批入口页里重复出现，减少无效去重
- 保证入口页返回 200 且响应时间稳定，出现异常先修再扩
- 用 sitemap 与站内链接两条路径并行，降低对单一入口的依赖
- 定期清理 404 与过长的重定向链，别让旧入口页继续占抓取份额
总结一下：入口页数量解决的是“有多少 URL 有机会被发现”，抓取预算解决的是“搜索引擎愿意花多少资源来抓”。两者属于不同层面。扩充入口页时，更值得盯的是日志中的抓取分布和状态码，而不是页面总数这个数字本身。把这些看清楚，再决定要不要继续加页面，通常比盲目扩容更有意义。