站点 URL 达到一定量级后，单个 Sitemap 文件往往不够用，需要拆成 sitemap index 加多个子分片。索引分片的维护质量，直接影响搜索蜘蛛能否稳定发现入口。它不解决收录，但能减少发现环节的摩擦。
什么情况下需要拆分索引
当 URL 数量超过单文件上限，或者不同栏目更新频率差异很大时，分片就有意义。常见拆分依据：
- 按栏目或频道拆分，便于单独更新；
- 按更新时间拆分，把近期变动的内容集中在一个分片；
- 按内容类型拆分，文章、商品、标签页各自独立；
- 按语言或地区拆分，配合多语言站点的入口管理。
拆分的目标是让每个分片保持稳定、可预期，而不是单纯为了减小体积。
索引文件维护中的常见问题
分片地址失效或指向旧文件
索引里列出的分片地址如果返回 404、302 或内容为空，搜索蜘蛛会得到一次无效请求。更常见的是分片文件已经改名，但索引仍指向旧路径。建议改动分片命名时同步更新索引，并在日志里确认新地址已被拉取。
分片过大与生成超时
压缩前体积过大、URL 数量接近上限的分片，生成时容易超时，可能产生截断文件。文件被截断后，蜘蛛读到一半就结束，后面的 URL 不会被发现。可以给分片设置更保守的数量与体积阈值，并抽查文件结尾是否完整。
索引与分片的 lastmod 不一致
索引文件和子分片的 lastmod 如果长期不变，蜘蛛可能降低拉取频率；如果每次生成都刷新时间，又可能造成无效重抓。更稳妥的做法是：只在分片内容真实变化时更新时间，索引文件的时间跟随其下分片的实际变更。
分片内与跨分片重复
同一个 URL 出现在多个分片里，会让抓取请求被重复消耗。跨分片重复往往来自分类页与标签页的归属不清。可以先在生成环节做去重，再决定该 URL 保留在哪个分片。
从抓取日志观察分片调度
- 索引文件与各分片的拉取时间、次数是否成比例；
- 是否存在只拉索引、不拉部分分片的情况；
- 各分片被覆盖的比例，找出长期未被拉取的分片；
- 分片请求的返回状态与响应体积，确认没有截断；
- 分片内 URL 的实际抓取情况，与分片声明量做对比。
这些观察不需要复杂工具，抓取日志按路径聚合后就能看出大致分布。
与内链结构的配合
Sitemap 只是发现入口，不替代内链。重要页面仍应能从导航、列表页或相关推荐中被点到。如果某个分片里的 URL 在内链中完全没有入口，长期看它的抓取稳定性会偏弱。可以定期对比分片 URL 集合与站内可达 URL 集合，找出两者的差集。
索引分片维护的核心不是追求文件数量，而是让入口声明与站点实际内容保持一致，减少无效请求与遗漏。
日常维护清单
- 定期访问索引文件，确认所有分片地址可正常返回；
- 抽查分片内容，核对 URL 数量与文件结尾是否完整；
- 确认压缩方式与响应头正确，避免读取失败；
- 记录每次分片调整的时间与范围，便于对照抓取日志；
- 对长期未被拉取的分片，检查其内容价值与入口方式；
- 对比分片 URL 与内链可达 URL，处理只存在于一方的页面。
索引分片是入口管理的一部分，和抓取日志、内链结构放在一起看，才能判断入口是否真正被使用。