做蜘蛛池的人经常会遇到一个问题：入口页明明铺了几千个，蜘蛛每天却只来几百次。原因往往不在入口页的数量上，而在抓取预算的分配上。蜘蛛每天愿意在一个站点上花的时间是有限的，入口页、列表页、详情页在争抢同一份预算，分不好就会出现“入口页天天被爬、真正想推的落地页一个都没进”的情况。
抓取预算到底指什么
抓取预算可以粗略理解成两个数字的乘积：蜘蛛愿意并发多少连接，乘以它愿意在这个站点上待多久。它不是一个能查询到的固定值，而是搜索引擎根据站点历史表现动态给出的额度。影响它的因素大致有三类：
- 站点响应速度：TTFB 偏高、经常超时的站，额度会被压缩。
- 抓取价值判断：页面是否重复、是否有实质内容、是否存在大量无意义参数。
- 历史抓取效率：过去一段时间里，蜘蛛抓到的页面中有多少是值得继续处理的。
换句话说，预算不是求来的，是省出来、挣出来的。
三类页面在预算里的不同角色
入口页：负责把蜘蛛引进来
入口页的核心任务是把蜘蛛带到站内，并向它提供一批可继续爬的通路。它的特点是数量多、内容薄、结构高度相似。这类页面如果占用了过多预算，就会出现典型的“蜘蛛一直在门口转，不进屋”的现象。
比较合理的做法是让入口页保持轻量：少 JS、少外链、不做复杂渲染，把响应时间压到很小的范围，让蜘蛛用很短的时间读完并顺着链接离开。
列表页与聚合页：负责分流
列表页是预算的中转站。它本身不需要太多正文，但需要稳定地把蜘蛛分发给详情页。这一层最怕的是URL 无限扩张：筛选、排序、分页参数叠加之后，同一条内容能生成几十个 URL，预算会被迅速稀释。对这类参数页，通常的做法是限制可爬范围，而不是全部放开。
详情页：负责被收录
详情页才是有可能带来流量的那一层。如果日志里显示详情页被抓的次数远低于入口页，说明分配出了问题：蜘蛛的精力被消耗在了没有产出的层级上。
一个可用的判断标准：如果连续一周的日志里，详情页抓取占比低于 30%，就要回头检查入口页和列表页是不是太吃预算了。
一套可以照着走的分配顺序
- 先保响应：把入口页和列表页的服务器响应压稳，避免 5xx 和长时间等待。响应不稳的时候谈分配没有意义。
- 再控入口页数量：入口页不是越多越好。与其铺十个内容雷同的入口页，不如留三个结构清晰、内链明确的。
- 收窄列表页可爬面：用 robots.txt、canonical，或者干脆不输出链接的方式，把参数组合控制在可管理范围内。
- 给详情页留通道：确保每个详情页至少有一条来自列表页或入口页的稳定链接，不要让蜘蛛只能靠站内搜索才能找到。
- 按周看日志再调：对比各层级的抓取次数和返回状态，把明显低效的层级砍掉。
几个常见的踩坑方式
- 靠堆入口页数量换抓取：短期日志会好看，长期会把预算锁死在低价值页面上。
- 详情页全靠 sitemap 提交：sitemap 能帮助发现，但如果站内没有链接通路，蜘蛛抓到之后不会继续往外扩展。
- 忽略 404 与软 404：大量失效页面会持续消耗预算，该给 410 的就给 410。
- 所有页面共用一套模板且没有内容差异：这类页面即使被抓，也很难拿到后续的抓取额度。
结语
抓取预算这件事，本质上不是“怎么让蜘蛛多来”，而是“怎么让蜘蛛把时间花在值得的页面上”。入口页、列表页、详情页各司其职，把薄的页面做轻，把有价值的页面做通，预算才会更合理地流向产出层。它不能保证收录，也不能保证排名，但能让有限的抓取次数不被浪费。