做蜘蛛池的人常会遇到一种情况：入口页明明加了不少，日志里也能看到搜索蜘蛛来过，但抓的总是首页和少数几个页面，剩下的页面几天都不见动静。这通常不是蜘蛛没发现，而是抓取预算被用在了别的地方。理解抓取预算的分配逻辑，比一味增加入口页数量更有意义。
抓取预算大致由两部分决定
搜索引擎对每个站点都会有一个大致的抓取安排。一部分是根据站点规模、更新频率和外部链接估算出来的抓取需求，另一部分是服务器承载能力、响应速度决定的抓取容量。两者之间的差值，才是实际能拿到的抓取量。
入口页越多、结构越复杂，需求端涨得很快；但容量端不会因为你多放了几百个页面就自动提高。当两者不匹配时，最先应该检查的是容量端，而不是继续堆页面。
哪些因素在消耗抓取预算
- 页面体积和响应耗时：单个页面越大、响应越慢，蜘蛛在单位时间内能抓的页数就越少。
- 重复与参数化 URL：同一内容通过不同参数生成多个地址，预算会被重复抓取吃掉。
- 链接深度：需要点击很多次才能到达的页面，优先级天然靠后。
- 错误与超时：大量 5xx、连接超时或空白响应，会让蜘蛛降低对整个站点的抓取频次。
- 低价值页面占比：内容单薄、彼此高度相似的页面越多，平均抓取效率越低。
入口页数量与抓取频次不是正比关系
很多人默认页面数量翻倍，蜘蛛抓取量也会跟着翻倍。实际观察中更常见的情况是：总抓取次数变化不大，但每个页面分到的次数被摊薄，单页的发现和更新周期反而变长。如果入口页本身内容差异很小，这种摊薄几乎没有收益。
把入口页从一百个扩到一千个，通常不会带来十倍的抓取量；更可能的结果是每一页都被抓得更浅。
所以做数量规划之前，先确认现有入口页是否被完整抓取过一轮。如果老页面都还没抓完，新增页面大多只是排进更长的队列。
提高有效抓取的做法
- 压缩入口页 HTML 体积，保证首屏的关键链接在原始 HTML 中就能被抓到。
- 稳定服务器响应，避免高峰期大量超时，必要时检查带宽和连接数上限。
- 统一 URL 形式，去掉无意义的参数组合，让同一内容只有一个地址。
- 使用 sitemap 的更新时间字段，提示真正有过改动的页面。
- 用内链把需要优先抓取的页面往前放，同时控制每页的出链数量。
- 定期从访问日志统计蜘蛛抓取的独立 URL 数、平均间隔与错误码分布。
几个常见误区
- 以为页面加得越多，抓取量就越大。
- 把蜘蛛来访次数当成抓取效果，忽略它实际抓的是哪些 URL。
- 只盯着入口页本身，不看服务器整体的响应表现。
- 页面内容高度雷同，却期待蜘蛛逐页细看。
- 发现抓取变少就立刻换域名，而不排查超时和错误码。
看哪些指标，多久调整一次
建议按周统计四项数据：蜘蛛抓取的独立 URL 数、每个入口页的平均被抓次数、平均响应时间、非 200 状态码占比。如果连续两到三个周期都出现抓取页数不上涨、错误率上升，优先排查服务器和页面体积，而不是继续新增页面或域名。反过来，如果抓取页数和响应时间都稳定，只是部分页面没被抓到，可以调整内链和 sitemap 的指向，再观察一个周期。
抓取预算更像一个需要平衡的额度，而不是可以无限索取的资源。入口页的数量规划、页面本身的精简、以及服务的稳定，这三件事做到位，通常比不断新增入口页更划算。任何调整都需要留出观察时间，不必因为一两天的波动就推翻整套方案。