做收錄排查时经常會碰到這種情况：整站收錄比例看着還行，但拆到频道一級就發現差距很大——有的目錄几乎全進索引，有的目錄几個月過去還停在“已發現”。同一個域名、同一套服務器，差异往往不在服務端，而在站内结构和頁面本身。
第一步：按目錄拆資料，別看整站平均值
整站收錄率是個平均數，它會把频道之間的落差抹平。開始找原因之前，先把手上的資料切成几块：
- sitemap 按目錄或频道拆分提交，這样提交量和索引量可以一對一對地比，而不是只看到一個總數。
- 抓取日誌按路径前缀統計，看每個目錄被請求的次數、狀態碼分布、平均响應時間。抓得少和抓了不收錄是两回事。
- 抽样检查索引狀態，每個频道抽几十條 URL 看狀態，比只盯着索引總量更有參考價值。
拆完之後常见的结论是：某几個频道的抓取量本身就很低，問题出在發現环节，而不是评估环节。
差异通常来自這几處
入口深度與内鏈倾斜
首頁和主導航指向的目錄，入口浅、内鏈多，被發現和重抓都更快。藏在三級菜單後面、只在列表頁第 3 頁之後出現的地址，可能長期只有一個入口。這不是蜘蛛“偏心”，而是站内連結權重的自然结果。检查一下：频道首頁是否在主導航里、列表頁是否分頁合理、詳情頁之間有没有相關推荐或上一篇下一篇這類横向連結。
模板與渲染方式
同一站点的不同频道，可能用了不同的前端模板。有的频道内容随 HTML 直出，有的频道需要 JS 請求接口才能拿到正文。對後者来说，首屏 HTML 里可能只有壳，蜘蛛拿到的内容明顯更薄，處理节奏也會不一样。對比两個频道抓取後的 HTML 快照，很容易看出差別。
内容重复度
有些频道天然重复度高，比如商品的不同規格頁、文章的多個来源轉载、按标簽聚合出的列表。重复度高的目錄里，大量 URL 會被規范化到少數几個版本上，剩下的自然不進索引。這類情况不是故障，需要判断的是：這些頁面有没有必要單獨存在。
URL 结构與參數
带篩選參數、排序參數、會话參數的频道，地址數量會成倍膨胀，抓取被分散到大量近似地址上。可以對比两個频道的 URL 模式，看看是否一個干净、一個參差不齐。參數多的频道通常需要額外的規范化處理。
可以按這個顺序調整
- 先补内鏈：让目标频道出現在主導航、面包屑和相關的横向模块里，這是改動成本最低的一步。
- 再看模板：確認正文在初始 HTML 中可见，重要内容不依赖二次請求。
- 按频道拆分 sitemap，只放需要被索引的規范 URL，便于後續观察提交與索引的對應關系。
- 處理重复與參數：确定每個内容的主版本，其余版本用 canonical 或跳轉合並。
- 留出观察周期，按周對比日誌中的抓取分布，而不是每天看一次。
收錄比例不是越高越好。為了拉高某個频道的收錄數去批量生成低信息量頁面，短期數字會動，長期反而拖累整站被抓取和评估的效率。
频道之間的收錄差异，多數时候是结构問题的外化表現。把資料拆细、把發現路径理顺，剩下的交给時間就够了。