不少人在做蜘蛛池或入口页布局时都会遇到一个反直觉的情况：入口页从几十个加到几百个，目标 URL 的抓取日志反而没有变多，甚至比之前更少。这不是必然规律，但确实有几种常见的解释。下面按“先看数据、再看入口页、再看目标 URL、最后看配置”的顺序拆开说。
先把口径对齐，再谈下降
日志对比如果没有统一口径，很容易得出错误结论。建议先固定三件事：同一段时间范围（比如都以自然日为粒度）、同一批入口页域名、同一种蜘蛛 UA 过滤规则。然后分开统计两层数据：入口页被抓取的次数和目标 URL 被抓取的次数。很多时候入口页抓取量涨了，目标 URL 抓取量没涨——这不叫下降，而是转化比例变低了，问题出在入口页到目标 URL 这一段。
入口页变多了，为什么抓取没跟着涨
1. 抓取额度是按站点分配的，不是按页面数量
搜索蜘蛛对一个站点的抓取总量，受服务器响应速度、页面质量、历史抓取成功率等因素影响，不会因为你多了两百个入口页就同比放大。入口页数量增加，最直接的结果往往是每个入口页被回访的间隔变长，而不是总抓取量线性上升。
2. 大量同质入口页会拉低整站的可信度
如果新增的入口页除了标题和关键词几乎一模一样，模板、正文长度、链接结构都一致，搜索蜘蛛抓过一批之后，对剩下页面的抓取意愿会下降。表现就是“抓了几个就不抓了”，连带着目标 URL 也少了被顺带发现的机会。
3. 入口页之间的互链消耗了抓取额度
入口页互相链接成网、每个页面都链回首页或列表页，会让蜘蛛把有限的抓取量花在站内循环上，真正指向目标 URL 的链接反而排在队列更靠后的位置。
目标 URL 这一侧的问题
- 响应状态不稳定：频繁出现 5xx 或长时间超时，蜘蛛会主动降低对该路径的抓取频率。
- 抓到的内容为空或近乎空页：连续几次都拿不到有效内容，后续排队优先级会下降。
- 被 CDN 或 WAF 限速：入口页正常，但目标 URL 所在域名对陌生 UA 或高频请求做了拦截，日志里能看到抓取请求被 403、429 挡掉。
- 同一目标对应多个地址：目标 URL 以多种参数形式出现，抓取被分散到多个地址上，看上去每个都没抓几次。
容易被忽略的配置问题
- 目标 URL 被 robots.txt 屏蔽，或入口页链接带了 nofollow，蜘蛛到门口就停。
- 入口页设置了 noindex，虽然仍可能跟踪链接，但页面本身的抓取频率会很低。
- 入口页整页依赖 JS 渲染，链接在原始 HTML 里不存在，部分抓取场景下看不到。
- sitemap 提交的地址和页面里的实际链接不一致，两个入口互相矛盾。
排查顺序建议
- 确认口径：分层统计入口页与目标 URL 的抓取量，而不是只看总数。
- 抽查日志：看目标 URL 是否被抓过、返回什么状态码、从哪个入口页进入。
- 核对拦截：从服务器和 CDN 侧确认是否存在 UA 黑名单、频率限制、人机校验。
- 检查配置：robots.txt、canonical、nofollow、跳转链、sitemap 是否自相矛盾。
- 控制新增：先保证入口页有实际差异和可读内容，再考虑加量，避免一次性铺开大量模板页。
抓取量是结果，不是可以直接调大的开关。与其不断加页面，不如先解决响应速度、内容差异和配置冲突这三类基础问题。
如果你正处在入口页加量的阶段，建议每加一批就观察一到两周的抓取日志变化，再决定是否继续铺量。抓取量下降本身不可怕，可怕的是不知道问题卡在哪一层。