為什么要按模板分组看抓取
站点 URL 多起来以後，日誌里每天都有抓取记錄，但總訪問量上涨不代表每個頁面類型都被照顾到。比如詳情頁抓取很多，标簽頁可能一個月没被訪問；列表頁频繁抓取，但翻頁後的 URL 很少出現。把 URL 按模板分组，可以把“抓取覆盖率”拆到具体類型上，而不是只看總數。
分组的意义在于：同一模板的頁面通常有相似的路径、内鏈位置、更新频率和頁面结构。如果某一组覆盖率明顯偏低，通常不是單個頁面問题，而是入口、Sitemap 或服務器响應上的共性問题。
分组口径怎么定
分组規則不用太复杂，能稳定匹配就行。常用做法是按路径前缀或路径中的固定片段来分：
- 内容詳情：如 /article/、/post/、/detail/
- 列表與聚合：如 /list/、/category/、/tag/
- 功能頁面：如 /search/、/filter/、/user/
- 多語言或子站：如 /en/、/m/、/blog/
如果 URL 带參數，先做归並，避免同一個頁面因為參數不同被算成多個。分组規則一旦确定，至少保持一周不變，不然前後資料没法對比。
統計哪些字段
從抓取日誌里按组統計，至少看四個數：
- 组内總 URL 數：可以從 Sitemap、資料库或内鏈爬取结果中取。
- 被訪問過的 URL 數：日誌里去重後的實际抓取數量。
- 覆盖率：被訪問數除以總 URL 數，看每组大概是多少。
- 抓取频次分布：同一 URL 一周被訪問几次，是只来過一次，還是反复来。
如果條件允许，再加一列“最後抓取時間”，能看出哪些组已经很久没有新訪問。
和 Sitemap、内鏈對照
覆盖率低不一定是因為蜘蛛不来，也可能是入口本身没给全。把每组 URL 分別和 Sitemap、内鏈做對照：
- Sitemap 里有的 URL，日誌里有没有出現；
- 内鏈能到達的 URL，是否被记錄；
- 只在 Sitemap 出現、内鏈没有入口的 URL，抓取是否更慢；
- 只在内鏈出現、Sitemap 没收錄的 URL，是否反而抓得更快。
這样能判断問题出在“發現”還是“抓取”。發現不足，優先补内鏈和 Sitemap；發現充足但抓取少，再看服務器响應、頁面体积和抓取频次限制。
處理低覆盖组时的顺序
找到低覆盖组後，不要一次改太多。可以按下面顺序排查：
- 確認這些 URL 是否允许抓取，robots 和 meta 有没有誤拦。
- 检查服務器返回是否稳定，有没有大量 5xx 或超时。
- 看内鏈入口是否太深，是否需要從列表頁或相關推荐中增加連結。
- 核對 Sitemap 是否包含该组，lastmod 是否合理。
- 如果是分頁或篩選頁，考虑收敛參數，减少低價值 URL 的抓取消耗。
抓取覆盖率是观察指标，不是承诺收錄的依據。分组核對的價值在于把問题定位到具体頁面類型，而不是用總抓取量判断站点健康。
观察周期與记錄
改完入口或 Sitemap 後，建议观察一到两周。每周记錄一次各组的覆盖率和抓取频次，看趋势是否變化。如果某一组持續不涨，再回头检查该组的頁面质量、加载速度和内鏈位置。小站可以用一周日誌先做一次分组統計，大站可以按目錄分批做，避免一次處理太多資料。