标签：抓取容量

抓取时段分布与容量估算：用日志时间戳判断站点的抓取承受区间

抓取总量往往掩盖了节律。本文说明如何按小时拆分蜘蛛日志、统一时区与粒度，用一周样本估算站点可承接的抓取区间，并结合 Sitemap、内链与 robots 声明，判断容量是否被消耗在无效 URL 上。