做蜘蛛池时，最容易犯的一个错是把“规模”当成目标。入口页越多、域名越多，看起来池子越强，但真正决定效果的，是这些页面每天能不能被搜索蜘蛛实际访问到。规模应该跟着蜘蛛来访量走，而不是反过来。
先看蜘蛛来访量，再决定池子多大
在扩容之前，先花一两周看服务器日志，把下面几个数字弄清楚：
- 日志里被识别为搜索蜘蛛的请求，一天大概有多少条；
- 这些请求落在多少个不同的入口页 URL 上；
- 单个入口页平均被访问几次，两次访问之间隔多久；
- 新加进去的入口页，从上线到第一次被抓，中间隔了多少天。
如果蜘蛛请求集中在少数几个页面上，说明池子里的多数页面还没进入抓取范围，此时继续加页，只会摊薄本来就有限的机会。
入口页数量与域名数量的配比
两个极端都不好：域名很少而入口页堆得很多，单个域名承担的抓取压力过大；域名很多而每个站只有几页，页面之间的支撑太薄，蜘蛛往往抓完首页就走。
比较稳妥的做法是让每个域名承载几十到几百个入口页，具体多少要看站点内容的扎实程度、更新节奏和服务器响应速度。数量本身没有标准答案，但“一个域名塞几千个空壳页”通常是坏信号。
什么信号可以继续加，什么信号该先停
可以考虑小幅扩容的信号
- 新入口页上线后几天内能被蜘蛛首次抓取；
- 老入口页的回访间隔比较稳定，没有越来越长；
- 蜘蛛的请求分散在多个页面，而不是只围着几个页面转；
- 服务器响应正常，没有明显的 5xx 或超时。
该先观察、暂缓扩容的信号
- 新增入口页长期零抓取，日志里完全看不到；
- 入口页数量翻了一倍，蜘蛛请求量却没怎么变；
- 单个域名的被抓取比例很低，大部分页面从没被访问过；
- 服务器负载和响应时间随扩容一起恶化。
调整规模的几个实操做法
- 分批加。一次加几十到几百个页面，加完观察一两周再决定下一步，避免一次性上几千页之后无法归因。
- 留对照组。保留一批不做改动、也不追加内链的入口页，和新增部分对比抓取情况。
- 先补内链，再考虑新域名。很多“没被抓”的入口页，问题在于站内没有任何路径指向它。
- 替换而不是硬堆。长期零抓取、内容也补不起来的页面，可以直接下线换新，不必留在池子里占位。
规模是结果，不是起点。先让已有的入口页稳定被访问，再谈扩大。
几个常见误区
- 把入口页总数当成指标，只看数字不看抓取率；
- 认为域名越多越安全，忽略每个域名的内容支撑；
- 只算域名和服务器成本，不算批量维护页面的时间成本；
- 扩容太猛，出问题时无法判断是哪一批页面引起的。
小结
蜘蛛池的规模应该由蜘蛛的实际来访量决定。定期看日志、算清抓取率，用分批扩容和对照组来验证，比盲目堆页面更靠谱。池子小但被吃透，通常比池子大却没人来更有意义。