标簽：抓取容量

抓取时段分布與容量估算：用日誌時間戳判断站点的抓取承受区間

抓取總量往往掩盖了节律。本文說明如何按小时拆分蜘蛛日誌、统一时区與粒度，用一周样本估算站点可承接的抓取区間，並结合 Sitemap、内鏈與 robots 声明，判断容量是否被消耗在無效 URL 上。