很多站点在改版或建站时顺手生成过一份 sitemap，之后就再没打开看过。时间一长，里面混进了下线页面、跳转地址，甚至后台入口，而新上线的栏目又没被补进去。这份清单本来是给搜索蜘蛛指路的，结果变成了半真半假的目录，反而增加无效抓取。

先清掉清单里不该出现的地址

打开 sitemap，逐条对照站点现状，以下几类应该直接移除：

• 已经返回 404 或 410 的旧地址，以及需要多次跳转才落到终点的中转 URL；
• 页面本身设置了 noindex 的地址，指令互相矛盾只会让蜘蛛犹豫；
• 带筛选、排序、会话等参数的动态拼接地址，除非你确实希望它们被收录；
• 登录页、后台页、测试目录这类本就不该公开的入口；
• 同一内容的不同变体，只保留 canonical 指向的那个版本。

再补上漏掉的重要页面

清理只是第一步。更常见的问题是反向的：站内已经有内容，sitemap 里却没有。按栏目从上到下走一遍，检查这几类是否完整：

• 新建的栏目页和专题聚合页；
• 藏在列表第二页之后、内链较少的详情页；
• 近期发布、尚未被自然抓取到的新内容；
• 需要重点收录的分类页、地区页等多入口页面。

判断方法很朴素：打开栏目列表，随机点进去看几个页面，再回头搜 sitemap 里有没有它们。

更新机制要跟得上内容节奏

手工维护一份大站的清单不现实，通常靠程序生成。生成逻辑里有两个细节值得盯一下。

lastmod 要真实

有些程序会把全站页面的 lastmod 都写成生成那一刻，这等于告诉蜘蛛“所有页面刚刚都变了”。时间久了，这个字段就失去参考价值。只在你确实改过正文、结构或关键信息时，才更新对应页面的时间。

拆分与分片

内容量大的站点，建议用一个 sitemap 索引文件指向若干子清单，按栏目或内容类型拆分。好处是某一类页面出问题时影响范围可控，排查时也能快速定位是哪个栏目在拖后腿。

几个容易忽略的细节

• 清单里应只放返回 200 状态、可正常访问的页面地址；
• 统一使用绝对地址，并保持协议与主机名一致，避免出现 www 与非 www 混用；
• 单个文件的 URL 条数和体积有上限，超出要分片，必要时开启压缩；
• robots.txt 里声明的 sitemap 地址要指向实际位置，改版迁移后记得同步更新；
• 提交后过一段时间回看抓取与收录情况，而不是提交完就当完成。

sitemap 不是一次性交付物，它更像一份需要定期核对的通讯录：号码换了的要删，新成员要加，格式错了要改。

建议把它纳入日常巡检周期，比如每季度或每次大改版之后过一遍。核对一遍大概花不了多少时间，但能减少蜘蛛在无效地址上的空跑，也让真正需要被抓取的内容多一个明确入口。