很多人在做蜘蛛池时会有一种直觉：入口页越多，挂出去的链接越多，搜索蜘蛛来得越勤，目标 URL 被发现得越快。实际跑一段时间后，日志里却常常是另一种画面——入口页访问次数在下降，新加的目标 URL 要等更久才第一次出现。这背后通常不是“蜘蛛罢工”，而是抓取配额被摊薄了。
抓取配额不是一个固定数字
搜索引擎并没有公开一个“每天给你抓多少次”的额度。它更像一种动态判断：站点历史表现好不好、响应快不快、内容更新有没有价值、之前抓到的页面质量如何，综合下来决定下次来的时候抓多少个 URL、隔多久再来一次。可以把它理解成站点整体表现换来的信任度，而不是靠入口页数量堆出来的资源。
所以当入口页数量在短时间内暴涨，而每个入口页本身没有多少实质内容、彼此又高度雷同，蜘蛛的判断通常不是“这站内容真多”，而是“这批 URL 价值差不多，挑一部分看看就行”。
摊薄之后，日志里会看到什么
- 单个入口页的平均抓取次数下降，原本每天来几次的，变成几天一次。
- 新增入口页首次被抓的时间拉长，有的排到很后面才轮到。
- 挂在深层位置的链接，被抓到的比例明显降低。
- 同一批目标 URL 中，只有少数几个反复被抓，其余长期没有动静。
这些现象叠加起来，感受就是“蜘蛛还在来，但好像没以前管用了”。问题不在蜘蛛，而在于总量被切成了太多份。
怎么判断是不是被摊薄了
不要只看“今天蜘蛛来了没有”，而要看结构变化。比较实用的做法是：
- 按周统计入口页被抓的独立 URL 数量，以及每个 URL 的平均抓取次数。
- 记录新加目标 URL 从上线到首次被抓的间隔，看这个间隔有没有随时间变长。
- 对比入口页数量翻倍前后，同一批老入口页的抓取频次有没有下滑。
如果入口页数量涨了，独立 URL 抓取量却没涨甚至跌了，基本可以判定抓取资源被分散。
比继续加量更有效的几件事
- 清理长期零反馈的入口页：几个月没被抓、也没有被引用的入口页，留着只会占位置。
- 把重点目标 URL 集中到少数稳定入口页：抓取稳定的页面，比数量多的页面更靠得住。
- 优先保证响应速度和稳定性：超时、5xx 会直接消耗掉本来就不多的配额。
- 配合 sitemap 和站内正常链接：入口页只是发现渠道之一，不是唯一渠道。
抓取配额不是堆出来的，是站点整体表现换来的。入口页越多，摊到每一个身上的机会反而越少。
结语
入口页数量是一个容易上瘾的指标，因为它看得见、加得快。但搜索蜘蛛的抓取行为是有上限的，把有限的抓取机会分散到大量低价值页面上，目标 URL 的发现速度通常不会变快，反而更慢。与其继续加入口页，不如先看看现有入口页的抓取数据，把资源集中到真正被蜘蛛信任的那部分。