做蜘蛛池的人常有一个直觉：入口页越多，蜘蛛来得越勤。但实际观察一段时间会发现，入口页从一百个加到五百个，日志里的抓取次数可能只涨了一点点，甚至毫无变化。这里绕不开一个概念——抓取预算。
抓取预算不是玄学，它更像一种分配结果
搜索引擎每天能用于抓取的机器资源是有限的，它会结合站点规模、更新频率、内容质量、历史抓取回报等信号，给出一个大致的抓取额度。这个额度不是写在某份文件里的固定数字，而是多个因素共同作用后的结果。
对蜘蛛池来说，入口页只是请求入口，真正想要的是目标页被发现。抓取预算决定的正是：蜘蛛愿意在你的域名和页面上花多少次请求。
入口页变多，为什么蜘蛛不一定来得更多
- 额度按站点或域名分配：同一个域名下堆再多入口页，如果站点整体额度没有变化，多出来的页面只是在互相争抢那几次抓取。
- 低质量页面会稀释整体预期：大量内容雷同、近乎空白、只有跳转的页面，会让蜘蛛对整批入口页的抓取回报判断下降。
- 抓取本身是有成本的：服务器响应慢、频繁超时、返回 5xx，蜘蛛通常会主动降低访问频率，而不是加大频率。
真正影响入口页被反复抓取的因素
- 响应稳定性：TTFB 与状态码的一致性，比页面里塞多少内容更重要。
- 页面是否有变化：每次返回完全一样的内容，蜘蛛的回访价值判断会下降。
- 链接指向是否清晰：入口页到目标页的路径越明确，蜘蛛越容易判断这一趟值不值得走。
- 域名与 IP 的历史：被频繁屏蔽或长期堆垃圾页面的 IP 段，抓取频率通常偏低。
三个常见误区
- 靠入口页数量堆抓取：数量能带来发现机会，但不等于抓取频次线性增长。
- 只看蜘蛛总次数，不看有效抓取：抓了入口页却没有沿链接走到目标页，等于白抓一趟。
- 把预算问题当成配置问题：改 robots、改响应头往往解决不了根本，问题通常出在内容与结构上。
一个可执行的检查顺序
- 先看日志：入口页上的状态码分布、平均响应时间、是否存在 5xx。
- 再看路径：蜘蛛是否从入口页走到了目标页，还是抓完入口页就离开。
- 然后看内容：入口页之间的重复度如何，是否真的有实质变化。
- 最后才考虑规模：等现有入口页的抓取效率稳定后，再按批次增加数量。
抓取预算更像结果而不是开关：你无法直接申请更多，只能让蜘蛛觉得这批页面值得多来几趟。
把入口页当作需要长期维护的资源，而不是一次性投放的数量游戏，通常比单纯扩大规模更有效。扩张之前，先确认现有的入口页确实能被稳定抓取，并且确实能把蜘蛛带到目标页。