抓取日誌里最容易被忽略的是時間那一列。多數人只數「今天来了多少次」，很少有人按小时把抓取量摊開看。摊開之後會發現，蜘蛛的訪問並不是均匀铺在 24 小时里的，它有明顯的活跃段和低谷段。
為什么抓取时段值得單獨看
同一條抓取通道，單位時間内能處理的請求是有限的。如果站点每天被分配到的抓取額度大致固定，那這些額度落在哪個时段，就直接决定新發布的内容要等多久才會被看到。上午發布、而蜘蛛的高峰在凌晨，中間就可能空轉十几個小时。
另一個原因是排查問题。抓取量突然下降时，如果只看總量，很难分清是整体額度收缩，還是某個时段的抓取被掐掉了。
從 server log 里先統計三件事
- 每小时抓取次數：按小时聚合，连續看一周以上，不要只看一天。
- 單 IP 的抓取間隔：同一個蜘蛛 IP 两次訪問之間隔多久，能看出它是慢慢爬還是集中掃。
- 新 URL 首次被抓的時間差：记錄發布時間與首次抓取時間的差值，這才是真正影响收錄节奏的數字。
這三項都只需要日誌加一個脚本，不需要改動站点本身。
常见的几種抓取曲线
白天集中型
抓取集中在当地工作時間，夜里明顯回落。這類曲线多见于抓取目标與人工运营节奏比較接近的场景。
夜間集中型
凌晨到清晨抓取量高，白天反而稀疏。如果内容在這個时段更新，被及时抓到的概率通常更高一些。
全天平均型
各小时差別不大。這往往說明抓取策略比較固定、規律性强，但單次抓取量未必高。
這三種没有優劣之分，只有「你的更新时段和它合不合拍」。
更新节奏怎么配合
- 把内容更新固定在同一個时段，连續两三周，让抓取形成一個可预期的模式。
- 發布後不要立刻反复查看，先等 24 小时，再看 48 小时内的首次抓取情况。
- 不要一次性堆几百個新 URL。新入口分批放，每批之間隔開，比一次全推更容易被完整抓到。
- 把新入口挂到已经被高频抓取的頁面上，往往比單獨提交一條新地址更省事。
- 记錄每次調整後首次抓取延迟的變化，用資料判断這套节奏是否有效。
几個容易踩的坑
- 把高峰时段的抓取量上涨当成内容质量變好。抓取量波動可能只是對方調度變化。
- 為了測試用脚本高频請求自己的站点，把日誌搅乱，真實資料再也看不出来。
- 频繁改站点结构。每次改版都會让已经形成的抓取节奏重新归零，恢复需要時間。
- 只看總量不看首次抓取延迟。總量好看但新頁面迟迟不被抓，實际問题並没有解决。
- 直接套用別人分享的「最佳發布时段」。不同站点的曲线差別很大，自己的日誌才是依據。
抓取节奏是對方調度與站点表現共同作用的结果，不是可以直接下達的指令。能做的只有让自己的更新更規律、更可预期。
建议長期记錄的几個數字
- 日均抓取次數與波動范围
- 抓取高峰所在的两個小时区間
- 新 URL 首次被抓的平均延迟
- 超时、5xx 等抓取失敗集中在哪個时段
這几個數字每周记錄一次，坚持几周之後，你會比任何经驗帖都更清楚自己的站点适合在什么时候更新。