站点地图是给搜索蜘蛛看的指路清单，但它本身也是一份需要维护的文件。当站点规模变大，一个 sitemap 装不下所有 URL，通常会被拆成多个分片，再用一个索引文件把它们串起来。分片、索引、robots.txt 这三者的引用关系只要有一处对不上，蜘蛛就可能只读到一部分地址，或者把同一批 URL 反复读上几遍。
分片与索引的基本关系
先明确几个容易混淆的概念，后面自查时才知道该看哪里。
- 索引文件：本身不列具体页面，只列出各个分片文件的地址。
- 分片文件：真正承载 URL 清单的文件，常见做法是按栏目或按内容类型拆分。
- 提交入口：搜索引擎后台里填写的地址，以及 robots.txt 里声明的地址，两者最好指向同一个索引文件。
如果后台提交的是索引文件，而 robots.txt 里写的是某个分片，蜘蛛就会顺着两条不同的路走，容易出现重复读取，也可能漏掉另一个入口下的内容。
常见的不一致情况
- 索引文件里列了分片 A、B、C，但实际服务器上 C 已经被删除或改名，蜘蛛请求时拿到 404。
- 新栏目上线后新增了分片 D，却没有加进索引文件，导致这批 URL 只能靠内链慢慢被发现。
- 同一批 URL 同时出现在两个分片里，蜘蛛会认为是重复提交。
- 分片里的地址用了带参数的版本，而页面上 canonical 指向的是无参数版本，两边说法不同。
- 索引文件里嵌套了另一个索引文件，层级混乱，部分蜘蛛可能不继续解析。
自查顺序
建议按从外到内的顺序检查，先确认入口，再核对内容。
- 打开搜索引擎后台，确认提交的 sitemap 地址是索引文件还是分片文件。
- 打开 robots.txt，看里面的 Sitemap 声明是否与后台一致。
- 直接用浏览器访问索引文件地址，确认返回 200，且内容是 XML 而不是错误页。
- 逐个点击索引里的分片地址，确认都能正常打开。
- 抽查一两个分片，看里面的 URL 是否能正常访问，是否有明显已下线的页面。
索引文件要看什么
重点看三件事：分片数量是否与实际文件一致、每个分片的地址是否可访问、最后修改时间是否合理。如果索引文件长期不更新，而站点内容一直在增加，就说明生成流程可能没有正常跑起来。
分片文件要看什么
看 URL 是否指向最终地址，而不是经过一次跳转的旧地址。看是否混入了应被屏蔽的页面，比如后台、搜索结果页、带会话参数的链接。还要注意单个文件的 URL 数量是否过大，影响蜘蛛读取效率。
与 robots.txt 的配合
放在 sitemap 里的页面，应该是你希望被收录的页面。如果某个目录在 robots.txt 里被屏蔽，就不建议再出现在 sitemap 中，两处声明互相矛盾时，蜘蛛会以屏蔽规则为准，等于白提交。
同样地，被 canonical 指向别处的页面，也不适合单独列进 sitemap，否则会让人分不清哪个才是你想推的版本。
维护节奏
- 栏目结构变动后，同步更新分片划分，别让旧分片长期挂着失效地址。
- 定期检查索引文件与分片的对应关系，尤其是删过栏目之后。
- 观察后台的抓取统计，如果某个分片的读取量长期为零，值得查一下是不是没被索引引用。
- 不要频繁改动 sitemap 地址，入口稳定比数量多更重要。
站点地图的作用是降低蜘蛛发现内容的成本，把它维护清楚，比单纯堆量更有意义。分片数量不必追求多，结构清晰、引用一致，才是长期可用的状态。