标签：时段分布

蜘蛛池的时段规律：蜘蛛什么时候来，入口页该什么时候更新

蜘蛛的抓取并不是全天均匀发生的。本文讲怎么用抓取日志按小时统计蜘蛛的访问分布，识别活跃窗口，把入口页和内容更新安排在这些窗口之前，减少无效的频繁改动。同时也说明时段规律只是观察工具而不是操控手段，需要和抓取预算放在一起看。