聊蜘蛛池时，很多人只盯着一个数字：蜘蛛来了多少次。但搜索蜘蛛对每个站点的抓取量并不是无限的，在同样的时间里，它能发出的请求有一个大致上限，通常被称作抓取预算。入口页铺得越多，摊到每个页面上的机会就越薄。这个账算不清楚，就会出现一种错觉——池子一直在加，目标站却没什么动静。
抓取预算大致由什么决定
它不是官方公布的一个固定数值，只能从日志里估。影响它的因素通常是这几类：
- 站点本身的历史表现与被信任程度
- 内容更新频率，长期不动的页面回访会变慢
- 服务器响应速度与稳定性
- 站内链接结构，层级太深会让蜘蛛走不到底
- 重复页面、空页、死链所占的比例
这几项里，只有响应速度和链接结构是运营者能较快调整的。其余几项都需要时间积累。
入口页消耗的到底是谁的预算
关键要看入口站和目标站是不是同一个域名。入口站是独立域名时，蜘蛛对它的抓取额度通常算在入口站自己头上，不会直接从目标站的名额里扣。这也是很多人把入口站单独铺开的原因。
但这里有个间接关系：蜘蛛在单位时间内的总资源是有限的。如果它被大量入口页占住了时间，对目标站的回访节奏多少会受影响。影响有多大，取决于入口页的规模和抓取效率。
什么情况下会挤占目标站
- 把池子塞在主站子目录里。入口页和目标站同域，抓取额度就是同一份，入口页抓得多，正文页自然抓得少。
- 跳转层级太长。每一跳都是一次请求。301、302、脚本跳转层层套下去，蜘蛛花在路上的次数会明显增加。
- 入口页高度雷同。同一套模板批量生成，蜘蛛反复抓到的其实是同一份内容，等于把预算花在了重复劳动上。
- 入口站响应慢。蜘蛛有等待上限，排队的时间也算在它的时间成本里。
- 目标站本身预算就紧。新站、内容少的站，本来回访就稀疏，再被分散注意力，效果会更差。
三个常见的误判
入口页越多，目标站抓得越多
两者之间不是线性关系。真正起作用的是蜘蛛能不能顺着链接走到目标页，以及目标页值不值得抓，而不是入口页的数量堆到多少。
入口页的抓取不用花成本
蜘蛛来一次就是一次请求。入口站数量上去以后，服务器带宽、响应时间、日志量都会跟着涨，这些都会反过来影响抓取效率。
只要链接指向目标站，预算就能转移
预算不能人为搬运。入口页能做的是提供一条被发现的路径，让蜘蛛知道目标页存在，至于抓多少、什么时候抓，仍由蜘蛛自己判断。
可以对照的几条做法
- 池子和目标站分开域名，不要把入口页放到主站目录下。
- 控制入口页总量，宁可少而精，保证每个页面都有被反复抓到的机会。
- 压缩跳转层级，能一步到位就不要三步。
- 入口页保持可访问、响应快，定期清掉失效页面。
- 用日志做对照：入口页增加后，目标站被抓的次数是升、是平还是降。
- 把精力放回目标站本身的内容和站内结构，这才是承接抓取的根本。
蜘蛛池能改变的是蜘蛛发现 URL 的路径和机会，改变不了目标站内容质量决定的收录与排名。把它当作收录开关来用，预期往往会落空。
简单说，先把预算这笔账算清楚，再决定铺多少入口页。数量不是目标，让蜘蛛顺畅地走到值得抓的页面上，才是。