站点 URL 達到一定量級後，單個 Sitemap 文件往往不够用，需要拆成 sitemap index 加多個子分片。索引分片的维護质量，直接影响搜尋蜘蛛能否稳定發現入口。它不解决收錄，但能减少發現环节的摩擦。
什么情况下需要拆分索引
当 URL 數量超過單文件上限，或者不同栏目更新频率差异很大时，分片就有意义。常见拆分依據：
- 按栏目或频道拆分，便于單獨更新；
- 按更新時間拆分，把近期變動的内容集中在一個分片；
- 按内容類型拆分，文章、商品、标簽頁各自獨立；
- 按語言或地区拆分，配合多語言站点的入口管理。
拆分的目标是让每個分片保持稳定、可预期，而不是單纯為了减小体积。
索引文件维護中的常见問题
分片地址失效或指向舊文件
索引里列出的分片地址如果返回 404、302 或内容為空，搜尋蜘蛛會得到一次無效請求。更常见的是分片文件已经改名，但索引仍指向舊路径。建议改動分片命名时同步更新索引，並在日誌里確認新地址已被拉取。
分片過大與生成超时
压缩前体积過大、URL 數量接近上限的分片，生成时容易超时，可能产生截断文件。文件被截断後，蜘蛛讀到一半就結束，後面的 URL 不會被發現。可以给分片設定更保守的數量與体积阈值，並抽查文件结尾是否完整。
索引與分片的 lastmod 不一致
索引文件和子分片的 lastmod 如果長期不變，蜘蛛可能降低拉取频率；如果每次生成都刷新時間，又可能造成無效重抓。更稳妥的做法是：只在分片内容真實變化时更新時間，索引文件的時間跟随其下分片的實际變更。
分片内與跨分片重复
同一個 URL 出現在多個分片里，會让抓取請求被重复消耗。跨分片重复往往来自分類頁與标簽頁的归属不清。可以先在生成环节做去重，再决定该 URL 保留在哪個分片。
從抓取日誌观察分片調度
- 索引文件與各分片的拉取時間、次數是否成比例；
- 是否存在只拉索引、不拉部分分片的情况；
- 各分片被覆盖的比例，找出長期未被拉取的分片；
- 分片請求的返回狀態與响應体积，確認没有截断；
- 分片内 URL 的實际抓取情况，與分片声明量做對比。
這些观察不需要复杂工具，抓取日誌按路径聚合後就能看出大致分布。
與内鏈结构的配合
Sitemap 只是發現入口，不替代内鏈。重要頁面仍應能從導航、列表頁或相關推荐中被点到。如果某個分片里的 URL 在内鏈中完全没有入口，長期看它的抓取稳定性會偏弱。可以定期對比分片 URL 集合與站内可達 URL 集合，找出两者的差集。
索引分片维護的核心不是追求文件數量，而是让入口声明與站点實际内容保持一致，减少無效請求與遗漏。
日常维護清單
- 定期訪問索引文件，確認所有分片地址可正常返回；
- 抽查分片内容，核對 URL 數量與文件结尾是否完整；
- 確認压缩方式與响應头正确，避免讀取失敗；
- 记錄每次分片調整的時間與范围，便于對照抓取日誌；
- 對長期未被拉取的分片，检查其内容價值與入口方式；
- 對比分片 URL 與内鏈可達 URL，處理只存在于一方的頁面。
索引分片是入口管理的一部分，和抓取日誌、内鏈结构放在一起看，才能判断入口是否真正被使用。