讨论收录时，注意力通常放在内容和 URL 规范上。但抓取端还有一层更基础的东西：服务器愿不愿意、来不来得及把页面交出去。响应慢、超时多、错误率高的站点，往往内容本身没什么问题，收录节奏却一直起不来。
抓取端先看到的是能不能拿到，不是内容好不好
抓取调度有两个约束：单位时间内能发多少请求，以及每个请求要等多久。响应时间越长，同一时间段内能完成的抓取就越少。如果站点 URL 总量在持续增长，而抓取速度没有变化，结果就是新页面被发现的时间被不断推后。
更麻烦的是超时和错误。一次请求超时通常不会立刻被判定为失败，而是会被重试；重试又占用了本可以用在其他页面上的额度。当 5xx、403、429 这类响应占比升高时，抓取频率往往会被主动下调，恢复和下调一样需要时间。
三种容易被忽略的表现
- 日志里同一批 URL 被反复抓取，新 URL 却很少出现。
- 响应时间的中位数不高，但尾部（最慢的那百分之几）非常高，比如动态查询、站内搜索、带复杂筛选的页面。
- 特定 UA 或移动端页面的响应明显慢于普通访客，可能涉及渲染、鉴权或区域节点。
按什么顺序排查
- 先看抓取日志，而不是先看索引报告。索引状态是结果，日志才反映过程。先确认抓取频率有没有下降、哪些目录被抓得最多。
- 统计响应时间的分布。不要只看平均值，把最慢的那部分 URL 挑出来，看它们有什么共同点：模板、参数、数据库查询、外部接口调用。
- 统计状态码构成。把 5xx、403、429 和超时分别计数。5xx 多为服务端问题；429 说明存在限速；403 可能是防护策略误伤。
- 检查是否有防护或限速规则针对抓取 UA。部分站点为防爬做了严格限速，结果正常抓取也被一起挡住。
- 确认 CDN、反向代理或负载均衡没有对部分 UA 返回不同结果。返回空页、验证页或不同版本，都会让抓取判断变得混乱。
- 最后再看内容层面。前面几项都正常，再去比较模板占比、近似内容和内链入口。
修复后该观察什么
调整之后不要指望立刻变化。抓取频率的调整通常按天甚至按周生效，恢复也是类似节奏。可以盯几个指标：新 URL 的首次抓取时间有没有提前、同目录下页面的抓取覆盖是否更均匀、错误响应的占比是否下降。
另一个容易忽略的点是：把慢页面变快，通常比把错误页面修好更容易看到效果，因为超时和重试是直接消耗额度的。对工具页、筛选页、站内搜索结果页这类可能产生大量变体的 URL，如果本身不需要收录，用 robots.txt 或 noindex 降低被反复抓取的价值，往往比让它们不断超时更划算。
抓取和收录是两件事，但抓取端的基础问题会同时压低两件事的天花板。先让服务器稳定地把页面交出去，再去谈内容质量。
最后提醒一句：这类排查更适合放在站点整体层面做，单看某一个页面意义不大。收录节奏是站点级的现象，多数时候也对应着站点级的原因。