很多人在搭蜘蛛池时会有一个直觉：入口页越多，蜘蛛来的次数就越多。实际操作中常常相反——入口页从一百个加到一千个，日志里的抓取请求数没涨多少，个别新入口页甚至从没被访问过。原因通常不在“蜘蛛不给面子”，而在于每个站点能拿到的抓取配额是有限的。
抓取配额到底是什么
搜索引擎会综合站点的历史表现、响应速度、内容更新频率、错误率等因素，给出一个大致稳定的抓取量。它不是写死的数字，但短期内的波动不会太大。配额决定了蜘蛛愿意在你这个域名上花多少时间。
配额与入口页数量的关系不是乘法，而是除法：同一个域名下待抓取的 URL 越多，每条 URL 分到的机会就越少。
入口页数量翻倍，不等于抓取量翻倍；更多时候只是把同样的抓取量摊薄了。
哪些因素在消耗你的配额
- 5xx 与超时：蜘蛛遇到连续失败，会主动降低抓取频率
- 大量重复或近似模板页面：内容雷同的入口页越多，被判为低价值的概率越高
- 参数化 URL 与无限层级：同一份内容生成多个 URL，白白占用抓取额度
- 目录层级过深：离首页越远，被抓取的机会越小
- 软 404 与空页面：返回 200 却没有实际内容，会拉低整站的质量判断
入口页数量怎么定
没有通用数字，但可以从日志反推。做法是：先观察当前入口页数量下，单个入口页平均多久被访问一次。如果多数入口页在两周内都没被访问过，说明入口页已经超出这个域名的承载力，再加只会继续摊薄。
比较稳妥的节奏是先小批量上线，观察三到七天的日志，确认新增入口页能被稳定抓取，再逐步增加。每轮增加后都要回头看抓取量有没有同步增长，而不是只看入口页总数。
把配额用在值得抓的页面上
- 入口页本身保持简洁，正文短、链接清晰，别塞大量无关内容
- 目标链接集中在入口页靠前的位置，减少蜘蛛的翻找成本
- 失效的目标链接及时下线，避免入口页变成死链集合
- 不同入口页的模板差异要保留，别只换标题
- 给入口页做分层：核心页长期保留，测试页及时清理
用日志判断配额是否被浪费
看日志时，除了总抓取次数，更该关注三个比例：成功响应占比、被抓 URL 中入口页与目标页的比例、以及同一 URL 被重复抓取的次数。如果蜘蛛反复抓同一个入口页却不往目标页走，通常是入口页的链接结构有问题；如果大量请求落在参数页、搜索结果页上，说明有 URL 需要屏蔽或收敛。
配额见顶时该换域名还是继续加页
当一个域名的抓取配额已经明显见顶——入口页在增加、抓取量却不变、新页面长时间不被访问——继续堆入口页的收益很低。这时更合理的做法是把入口分散到多个域名，每个域名维持适中的入口页数量，而不是把所有资源压在一个站上。
还需要注意的是，配额是会被消耗坏的。服务器长期不稳定、频繁改版、大量 404，都会让蜘蛛降低访问频率，而这种下降往往比上涨慢得多，恢复需要时间。稳定运行比短期冲量更重要。