做蜘蛛池的人常有一个直觉：入口页数量翻倍，蜘蛛来访也应该翻倍。实际跑一段时间看日志，往往是另一幅画面——总量确实涨了，但单个页面被访问的次数在往下掉，有些页甚至进了一次就再没出现过。这背后是抓取预算在起作用。
抓取预算由两部分决定
搜索引擎愿意在一个站点上花多少抓取资源，通常看两件事。一是主机能承受多少：如果并发请求一高服务器就超时，蜘蛛会主动降速，避免把站点打挂。二是这些 URL 值不值得抓：同样的抓取槽位，蜘蛛会优先给更新频繁、有明确用途的页面。
蜘蛛池的入口页先天处于不利位置。它们大多数是通道性质的页面，本身不提供多少可读内容，属于需求端评分偏低的一类。这意味着你能争取的主要不是“更多总量”，而是“让已有的槽位花在有用的路径上”。
为什么页面越来越多，单页却越来越冷
一个资源池里，蜘蛛一轮能处理的 URL 数量是有限的。入口页从一百个涨到一万个，分母变大，单位页面的曝光机会就被摊薄。更麻烦的是低质量的扩张会拉低整批页面的印象分：模板雷同、正文只有几行字、出口链接全堆在页脚，这类页面在蜘蛛眼里属于“来了也没什么可拿”。
日志里那些“只来过一次”的页面，多数不是被拦，而是没被排进下一轮抓取计划。
三个容易踩的误区
误区一：把提交量当抓取量
提交、推送、sitemap 都只是把 URL 送到门口，蜘蛛要不要进门、进几次，是另一回事。后台显示的“已提交数量”不能当作效果。
误区二：只加页面，不加路径
新入口页如果只能靠 sitemap 被找到，没有站内链接把它串起来，它的发现优先级会一直排在后面。页面之间形成的路径，比页面本身的数量更重要。
误区三：一批入口页全部指向同一个出口
同一批页面千篇一律指向同一个目标，蜘蛛抓几页就摸清了模式，后续页面的抓取动力会下降。出口适当分散，路径才更像真实站点。
把预算花在刀刃上的做法
- 分批上线，不要一次铺满。先放一批，观察几天的抓取频次和抓取深度，再决定加不加量。
- 每个入口页留一点独有内容。哪怕是一段针对该页面主题的短摘录，也比纯链接列表更容易被继续抓。
- 出口链接放在明显位置。首屏或正文中部的链接，被顺路抓走的概率明显高于埋在页脚深处的链接。
- 控制单机、单域名下的入口页密度。同一批资源里堆太多相似页面，摊薄的是自己。
- 定期合并或下线低效页面。长期零抓取的页面留在那里，只会继续占用分母。
看什么判断该收手
重点看三样：单个入口页的周抓取次数、蜘蛛在页面上的停留与后续点击、以及入口页指向的下一跳被访问的比例。如果连续两三周新增页面带不来新的抓取路径，说明扩张已经超出这批资源的抓取预算，此时继续加量不如先把现有页面做扎实。
蜘蛛池做的是“提供路径”，不是“制造抓取”。预算有限时，十个能被反复访问的入口页，通常比一千个只来一次的页面更有用。