Sitemap 文件拆成索引加多個分片，是站点規模變大之後很常见的做法。它带来的好處是單個文件不至于過大、生成和更新都更灵活；但同时也多了一层需要维護的结构：索引指向分片，分片指向 URL，任何一层出错都會影响搜尋蜘蛛的 URL 發現。這篇文章從抓取侧的角度，梳理拆分之後容易出現的入口問题，以及日常维護时可以执行的检查顺序。
什么时候适合拆分
單文件 Sitemap 的容量通常看两個维度：URL 數量和文件体积。当 URL 數量接近上限，或者生成脚本耗时明顯變長，就可以考虑按内容類型或更新频率拆成多個分片，再用一個索引文件把它們列出来。拆分本身不會让蜘蛛抓得更多，它的價值在于让入口更清晰、更新更可控。
常见的切分维度
- 按内容類型：文章、商品、分類、标簽頁各一個分片，便于單獨排查。
- 按更新频率：经常變動的分片可以更频繁地重新生成。
- 按語言或地区：多語言站点按目錄拆分，便于和 hreflang 對照。
- 按發布時間：老内容归档到獨立分片，减少每次全量重寫。
切分维度不必追求统一，關键是团队能一眼看出某個 URL 應该落在哪個分片里，並且避免同一個 URL 出現在多個分片。
维護中最容易出問题的几處
分片數量與索引不一致
生成脚本中途失敗时，索引里可能仍然寫着已经不存在的分片地址。蜘蛛請求到 404，這一批 URL 的發現就會被拖延。建议生成過程中先寫临时文件、校驗分片可訪問之後再替換索引，避免出現半成品狀態。
分片地址變化没有做過渡
如果分片文件名带了日期或版本号，每次重新生成都會換地址，而索引更新有延迟，就會出現短時間的悬空引用。相對稳妥的做法是让分片地址保持稳定，只更新内容；确實需要換名时，至少保留一段時間的跳轉。
内容與分片定位不符
一個已经下架的商品仍留在商品分片里，或者已经改版的栏目還挂在舊分片，都會让蜘蛛反复訪問無效入口。定期比對分片里的 URL 與线上實际可訪問狀態，比單纯看數量更重要。
調整分片时可以參考的顺序
- 先確認現有分片各自包含什么，統計 URL 數量與最近一次生成時間。
- 确定新的切分维度，明确每個分片的邊界，避免交叉。
- 生成新分片並逐個自检，確認狀態碼、條目數量、URL 格式正常。
- 更新索引文件，再確認索引本身可訪問、指向正确。
- 观察一段時間的抓取日誌，看新入口是否被訪問、舊入口是否還在被請求。
- 對確認不再需要的舊分片保留跳轉或返回合适的提示，不要直接變成空白頁。
分片調整不需要一次做完。一次只改一层，观察抓取日誌里對應路径的請求變化，更容易判断是拆分生效了，還是只是噪声波動。
與内鏈、抓取日誌的配合
Sitemap 是入口之一，不是唯一入口。分片里的 URL 如果同时能通過導航、列表頁、相關内容模块被訪問到，蜘蛛的發現路径會更稳定；反過来，只靠 Sitemap 存在、站内几乎没有任何連結指向的頁面，抓取通常會慢很多。日常可以把抓取日誌里出現的路径和分片内容做一次對照：出現在分片里却長期没有請求的，检查一下内鏈和頁面狀態；没有被分片收錄却频繁被抓的，看看是不是參數頁或歷史入口。
整体上，把 Sitemap 索引和分片当作一份需要持續维護的清單：结构清晰、地址稳定、内容與线上一致，URL 發現這一环就不會成為负担。