很多人做蜘蛛池的第一反应是“量不够”，于是把入口页从几十个扩到几百、几千个，期待搜索蜘蛛对目标 URL 的发现速度同步放大。实际观察下来，这条曲线通常不是直线：前期涨得快，之后明显变平，甚至原地不动。下面说说原因和可操作的做法。
为什么不是“入口页越多，发现越多”
搜索蜘蛛的抓取是带预算的。它不会因为你在某台服务器上多挂了几百个入口页，就临时提高对这台服务器的抓取频次。每个主机、每个网段能分到的抓取次数，大致在一个相对稳定的区间里波动。
除此之外还有几层过滤：
- 模板重复度：同一套模板、只有链接不同的一批入口页，被抓过几个之后，剩下的很容易被当成重复内容，抓取意愿下降。
- 链接指纹相似：入口页之间互相链接、指向同一批目标 URL、外链结构高度一致，会削弱“这是新内容”的判断。
- 目标 URL 自身的状态：如果目标站点响应慢、内容单薄、大量重复，蜘蛛即使发现了，也不会立刻抓或反复抓，入口页再多也推不动。
- 抓取配额竞争：入口页和目标站点如果共用主机或网段，等于在同一份配额里互相挤占。
决定“放大倍数”的几个变量
同样是加量，有些配置的边际效果会好一些：
- 入口页之间内容差异明显，不是同一段文字换关键词；
- 入口页分布在不同域名、不同网段，而不是全挤在一个 IP；
- 目标 URL 本身可抓、可索引，站点没有大面积 5xx，也没有把整站挡在 robots.txt 外；
- 增量节奏平稳，比如每天加几十个，而不是一次性甩出几千个；
- 入口页有稳定的回访价值，会更新、会新增链接，不是上线后一成不变。
怎么用自己的日志判断卡在哪一步
不要凭感觉判断“有没有用”，用日志拆成四段看：
- 蜘蛛是否到过入口页：看入口页 URL 有没有出现在日志里，状态码是多少。如果连入口页都没被抓，问题在上游，扩量没意义。
- 目标链接有没有被解析出来：对比入口页 HTML 里的目标 URL 数量和日志里出现的比例。比例低，多半是链接埋太深、靠 JS 生成，或者被脚本挡住。
- 目标 URL 有没有被抓：看目标站日志里是否出现蜘蛛请求，以及请求的是不是你希望被抓的那批 URL。
- 新增入口页与新增被抓 URL 的比例：把每周新增的入口页数量和新增被抓的目标 URL 数量画成两条线。如果第二条线早早走平，就说明扩量已经进入低效区间。
更实际的做法
与其一味堆数量，不如先把“单位入口页的产出”做上去：
- 先小批量测试，观察 3 到 7 天的日志，再决定是否扩量；
- 控制模板复用比例，同一套模板不要批量铺太多；
- 入口页本身写点有用的内容，哪怕是简短的说明、目录、对比，也比纯链接堆砌好；
- 分批、分散地铺，避免同一时间、同一 IP 上出现大量同构页面；
- 目标站点自身把可抓取性做好：状态码正常、内链清晰、重要页面别藏太深。
蜘蛛池能影响的是“被发现”这一段，抓取和收录还要看目标 URL 自己的状态。发现量上不去时，先排查入口页是否被抓、链接是否被解析，再考虑加量，顺序反了容易白费功夫。
一句话总结：入口页数量和目标 URL 发现量之间是递减收益的关系。几十个做到位，往往比几千个同质页面更有用；要扩量，也应该是“先测比例、再加数量”。