Sitemap 文件拆成索引加多个分片，是站点规模变大之后很常见的做法。它带来的好处是单个文件不至于过大、生成和更新都更灵活；但同时也多了一层需要维护的结构：索引指向分片，分片指向 URL，任何一层出错都会影响搜索蜘蛛的 URL 发现。这篇文章从抓取侧的角度，梳理拆分之后容易出现的入口问题，以及日常维护时可以执行的检查顺序。
什么时候适合拆分
单文件 Sitemap 的容量通常看两个维度：URL 数量和文件体积。当 URL 数量接近上限，或者生成脚本耗时明显变长，就可以考虑按内容类型或更新频率拆成多个分片，再用一个索引文件把它们列出来。拆分本身不会让蜘蛛抓得更多，它的价值在于让入口更清晰、更新更可控。
常见的切分维度
- 按内容类型：文章、商品、分类、标签页各一个分片，便于单独排查。
- 按更新频率：经常变动的分片可以更频繁地重新生成。
- 按语言或地区：多语言站点按目录拆分，便于和 hreflang 对照。
- 按发布时间：老内容归档到独立分片，减少每次全量重写。
切分维度不必追求统一，关键是团队能一眼看出某个 URL 应该落在哪个分片里，并且避免同一个 URL 出现在多个分片。
维护中最容易出问题的几处
分片数量与索引不一致
生成脚本中途失败时，索引里可能仍然写着已经不存在的分片地址。蜘蛛请求到 404，这一批 URL 的发现就会被拖延。建议生成过程中先写临时文件、校验分片可访问之后再替换索引，避免出现半成品状态。
分片地址变化没有做过渡
如果分片文件名带了日期或版本号，每次重新生成都会换地址，而索引更新有延迟，就会出现短时间的悬空引用。相对稳妥的做法是让分片地址保持稳定，只更新内容；确实需要换名时，至少保留一段时间的跳转。
内容与分片定位不符
一个已经下架的商品仍留在商品分片里，或者已经改版的栏目还挂在旧分片，都会让蜘蛛反复访问无效入口。定期比对分片里的 URL 与线上实际可访问状态，比单纯看数量更重要。
调整分片时可以参考的顺序
- 先确认现有分片各自包含什么，统计 URL 数量与最近一次生成时间。
- 确定新的切分维度，明确每个分片的边界，避免交叉。
- 生成新分片并逐个自检，确认状态码、条目数量、URL 格式正常。
- 更新索引文件，再确认索引本身可访问、指向正确。
- 观察一段时间的抓取日志，看新入口是否被访问、旧入口是否还在被请求。
- 对确认不再需要的旧分片保留跳转或返回合适的提示，不要直接变成空白页。
分片调整不需要一次做完。一次只改一层，观察抓取日志里对应路径的请求变化，更容易判断是拆分生效了，还是只是噪声波动。
与内链、抓取日志的配合
Sitemap 是入口之一，不是唯一入口。分片里的 URL 如果同时能通过导航、列表页、相关内容模块被访问到，蜘蛛的发现路径会更稳定；反过来，只靠 Sitemap 存在、站内几乎没有任何链接指向的页面，抓取通常会慢很多。日常可以把抓取日志里出现的路径和分片内容做一次对照：出现在分片里却长期没有请求的，检查一下内链和页面状态；没有被分片收录却频繁被抓的，看看是不是参数页或历史入口。
整体上，把 Sitemap 索引和分片当作一份需要持续维护的清单：结构清晰、地址稳定、内容与线上一致，URL 发现这一环就不会成为负担。