标簽：时段分布

蜘蛛池的时段規律：蜘蛛什么时候来，入口頁该什么时候更新

蜘蛛的抓取並不是全天均匀發生的。本文讲怎么用抓取日誌按小时統計蜘蛛的訪問分布，识別活跃窗口，把入口頁和内容更新安排在這些窗口之前，减少無效的频繁改動。同时也說明时段規律只是观察工具而不是操控手段，需要和抓取预算放在一起看。