抓取日志里最容易被忽略的是时间那一列。多数人只数「今天来了多少次」，很少有人按小时把抓取量摊开看。摊开之后会发现，蜘蛛的访问并不是均匀铺在 24 小时里的，它有明显的活跃段和低谷段。
为什么抓取时段值得单独看
同一条抓取通道，单位时间内能处理的请求是有限的。如果站点每天被分配到的抓取额度大致固定，那这些额度落在哪个时段，就直接决定新发布的内容要等多久才会被看到。上午发布、而蜘蛛的高峰在凌晨，中间就可能空转十几个小时。
另一个原因是排查问题。抓取量突然下降时，如果只看总量，很难分清是整体额度收缩，还是某个时段的抓取被掐掉了。
从 server log 里先统计三件事
- 每小时抓取次数：按小时聚合，连续看一周以上，不要只看一天。
- 单 IP 的抓取间隔：同一个蜘蛛 IP 两次访问之间隔多久，能看出它是慢慢爬还是集中扫。
- 新 URL 首次被抓的时间差：记录发布时间与首次抓取时间的差值，这才是真正影响收录节奏的数字。
这三项都只需要日志加一个脚本，不需要改动站点本身。
常见的几种抓取曲线
白天集中型
抓取集中在当地工作时间，夜里明显回落。这类曲线多见于抓取目标与人工运营节奏比较接近的场景。
夜间集中型
凌晨到清晨抓取量高，白天反而稀疏。如果内容在这个时段更新，被及时抓到的概率通常更高一些。
全天平均型
各小时差别不大。这往往说明抓取策略比较固定、规律性强，但单次抓取量未必高。
这三种没有优劣之分，只有「你的更新时段和它合不合拍」。
更新节奏怎么配合
- 把内容更新固定在同一个时段，连续两三周，让抓取形成一个可预期的模式。
- 发布后不要立刻反复查看，先等 24 小时，再看 48 小时内的首次抓取情况。
- 不要一次性堆几百个新 URL。新入口分批放，每批之间隔开，比一次全推更容易被完整抓到。
- 把新入口挂到已经被高频抓取的页面上，往往比单独提交一条新地址更省事。
- 记录每次调整后首次抓取延迟的变化，用数据判断这套节奏是否有效。
几个容易踩的坑
- 把高峰时段的抓取量上涨当成内容质量变好。抓取量波动可能只是对方调度变化。
- 为了测试用脚本高频请求自己的站点，把日志搅乱，真实数据再也看不出来。
- 频繁改站点结构。每次改版都会让已经形成的抓取节奏重新归零，恢复需要时间。
- 只看总量不看首次抓取延迟。总量好看但新页面迟迟不被抓，实际问题并没有解决。
- 直接套用别人分享的「最佳发布时段」。不同站点的曲线差别很大，自己的日志才是依据。
抓取节奏是对方调度与站点表现共同作用的结果，不是可以直接下达的指令。能做的只有让自己的更新更规律、更可预期。
建议长期记录的几个数字
- 日均抓取次数与波动范围
- 抓取高峰所在的两个小时区间
- 新 URL 首次被抓的平均延迟
- 超时、5xx 等抓取失败集中在哪个时段
这几个数字每周记录一次，坚持几周之后，你会比任何经验帖都更清楚自己的站点适合在什么时候更新。