为什么要按模板分组看抓取
站点 URL 多起来以后，日志里每天都有抓取记录，但总访问量上涨不代表每个页面类型都被照顾到。比如详情页抓取很多，标签页可能一个月没被访问；列表页频繁抓取，但翻页后的 URL 很少出现。把 URL 按模板分组，可以把“抓取覆盖率”拆到具体类型上，而不是只看总数。
分组的意义在于：同一模板的页面通常有相似的路径、内链位置、更新频率和页面结构。如果某一组覆盖率明显偏低，通常不是单个页面问题，而是入口、Sitemap 或服务器响应上的共性问题。
分组口径怎么定
分组规则不用太复杂，能稳定匹配就行。常用做法是按路径前缀或路径中的固定片段来分：
- 内容详情：如 /article/、/post/、/detail/
- 列表与聚合：如 /list/、/category/、/tag/
- 功能页面：如 /search/、/filter/、/user/
- 多语言或子站：如 /en/、/m/、/blog/
如果 URL 带参数，先做归并，避免同一个页面因为参数不同被算成多个。分组规则一旦确定，至少保持一周不变，不然前后数据没法对比。
统计哪些字段
从抓取日志里按组统计，至少看四个数：
- 组内总 URL 数：可以从 Sitemap、数据库或内链爬取结果中取。
- 被访问过的 URL 数：日志里去重后的实际抓取数量。
- 覆盖率：被访问数除以总 URL 数，看每组大概是多少。
- 抓取频次分布：同一 URL 一周被访问几次，是只来过一次，还是反复来。
如果条件允许，再加一列“最后抓取时间”，能看出哪些组已经很久没有新访问。
和 Sitemap、内链对照
覆盖率低不一定是因为蜘蛛不来，也可能是入口本身没给全。把每组 URL 分别和 Sitemap、内链做对照：
- Sitemap 里有的 URL，日志里有没有出现；
- 内链能到达的 URL，是否被记录；
- 只在 Sitemap 出现、内链没有入口的 URL，抓取是否更慢；
- 只在内链出现、Sitemap 没收录的 URL，是否反而抓得更快。
这样能判断问题出在“发现”还是“抓取”。发现不足，优先补内链和 Sitemap；发现充足但抓取少，再看服务器响应、页面体积和抓取频次限制。
处理低覆盖组时的顺序
找到低覆盖组后，不要一次改太多。可以按下面顺序排查：
- 确认这些 URL 是否允许抓取，robots 和 meta 有没有误拦。
- 检查服务器返回是否稳定，有没有大量 5xx 或超时。
- 看内链入口是否太深，是否需要从列表页或相关推荐中增加链接。
- 核对 Sitemap 是否包含该组，lastmod 是否合理。
- 如果是分页或筛选页，考虑收敛参数，减少低价值 URL 的抓取消耗。
抓取覆盖率是观察指标，不是承诺收录的依据。分组核对的价值在于把问题定位到具体页面类型，而不是用总抓取量判断站点健康。
观察周期与记录
改完入口或 Sitemap 后，建议观察一到两周。每周记录一次各组的覆盖率和抓取频次，看趋势是否变化。如果某一组持续不涨，再回头检查该组的页面质量、加载速度和内链位置。小站可以用一周日志先做一次分组统计，大站可以按目录分批做，避免一次处理太多数据。