入口页从几十个加到上百个，日志里搜索蜘蛛的访问次数却没有明显变化，目标 URL 的抓取量也停在原来的水平——这是做蜘蛛池时很常见的一种「加量不加效」。它通常不是某一个设置写错了，而是链路上有几处瓶颈叠加在一起。下面按从近到远的顺序梳理排查思路。
第一步：确认入口页真的被抓了，而不只是被看到
很多人看日志时只看到蜘蛛访问了入口页，就认为这一环已经通了。实际要分三段看：
- 蜘蛛有没有请求入口页本身，返回状态码是多少；
- 入口页 HTML 里的目标链接是否出现在抓取快照中，可以用响应大小和日志字节数做粗略对照；
- 蜘蛛有没有真的去请求目标 URL。
只看第一段，很容易把「链接存在但没被跟进」误判成「发现已完成」。
第二步：入口页本身是否存在系统性减分项
模板与结构过于雷同
同一套模板批量生成，正文、导航、外链结构高度一致，蜘蛛抓了几个之后很可能降低对这批 URL 的调度权重。降低抓取不等于惩罚，但对你的目标来说，效果和没做差不多。可以试着让入口页在标题、正文段落、链接周围的锚文本上有真实差异。
入口页自身的可抓取值偏低
正文只有一两句话、页面主体几乎全是链接、没有可读内容，蜘蛛仍会抓，但往往抓一次就不再回访。想让它反复来，入口页需要有能更新的内容。
第三步：链接是否能被顺利拿到
- 链接是否由 JavaScript 插入，且未出现在 HTML 源码中；
- 是否被 nofollow、onclick 跳转或外链跳转脚本包裹；
- 链接数量是否远超正文，导致页面主体被判定为纯链接页。
这几种情况叠加时，表面上看入口页是通的，实际发现路径已经被切断。
第四步：目标 URL 自己是否值得被反复抓
入口页只是发现通道，真正决定抓多少的是目标 URL 所在的站点。如果目标站点响应慢、经常返回 5xx、页面内容长期不变，甚至是站内大量重复页面，蜘蛛即使发现了也不会持续抓。可以把入口页和手动提交做一次对照：如果直接提交也抓不动，问题基本不在蜘蛛池这一侧。
一个可用的排查顺序
- 看入口页日志：状态码、抓取频次、响应时间。
- 抽样几个入口页，用抓取工具看渲染后的 HTML 里链接能否被提取。
- 查目标 URL 日志：是否出现过、返回什么、有没有重复抓取。
- 对比「入口页发现」和「手动提交」两条路径的抓取量差异。
- 再决定是继续加入口页，还是先修入口页质量和目标站点。
几个常见的加法误区
- 只加数量不改质量：入口页越堆越多，单页可抓取值不变。
- 入口页全部指向同一批目标 URL：重复发现同一批地址，边际收益递减。
- 入口页集中在同一 IP、同一模板、同一主体下：新资源被调度时容易整批延后。
- 只看「蜘蛛来访次数」这一个指标：来访不等于有效抓取目标。
抓取量是结果，不是可以单独调大的开关。入口页能做的只是让目标 URL 更容易被发现，被不被抓、抓多少，最终由目标页自身质量和站点整体情况决定。
小结
入口页翻倍而抓取量不动，先按「入口页是否被抓—链接是否可提取—目标 URL 是否值得抓」三段拆开看，多数问题会落在第二段和第三段。与其继续扩量，不如把已有入口页做扎实：内容有差异、链接是静态可读的、目标页面能正常快速响应。这样加量的效果才会体现在日志里。