站点地图（sitemap）的作用很朴素：把站点里希望被发现的 URL 集中列一份，交给搜索引擎读取。它不保证收录，但能减少「页面存在却没被找到」的情况。麻烦在于，很多站点的 sitemap 是上线时生成一次，之后随着栏目调整、文章下线、域名迁移慢慢失真，最后成了一份指向大量失效地址的清单。

为什么这份文件容易失真

内容在变，sitemap 却常常没跟着变。文章删了、栏目合并了、URL 规则改了，文件里还留着旧地址；反过来，新上线的页面又没被加进去。如果 sitemap 是手工维护的静态文件，这个问题会更明显。它本身不会报错，只是安静地给出越来越不准确的信号。

常见的几类问题

• 指向 404 或已删除内容的 URL，读取方反复撞空。
• 列的是跳转前的旧地址，而不是最终可访问地址。
• 混入被 robots.txt 屏蔽、或页面带 noindex 的地址，信号自相矛盾。
• 站内搜索结果页、排序筛选参数页、过深的分页，数量远超过真实内容页。
• 同一篇内容出现 http 与 https、带 www 与不带 www 等多个版本。
• 标签、作者、日期归档等自动生成的大量近似页面，内容单薄。

文件层面的限制

单个 sitemap 文件通常建议不超过 5 万条 URL，未压缩体积不超过 50MB，超出就应拆分成多个文件，再用 sitemap 索引文件汇总。索引文件本身也有数量和体积上限。有些站点的问题不在内容，而在于一个文件塞了几十万条，读取端只能处理其中一部分，剩下的等于没交出去。

自查清单

1. 抽样访问：从文件里随机抽 20 到 50 条，逐条打开，确认返回正常状态码且内容对得上。
2. 状态码核对：批量检查是否含 404、5xx 以及需要跳转的地址。
3. 地址一致性：sitemap 里的地址与页面 canonical 指向是否一致。
4. 屏蔽项比对：确认清单中不含 robots.txt 禁止抓取的路径。
5. 低价值 URL 过滤：搜索页、排序参数、会话 ID、重复筛选组合尽量排除。
6. 数量与分片：检查单文件条目数与体积，索引文件是否正确引用各个子文件。
7. 更新时间：lastmod 是否真实反映内容修改时间，不要每次生成都全量刷新。
8. 可访问性：文件地址能否直接打开，robots.txt 里是否声明了它的位置。

生成与更新的两种做法

静态生成

内容量不大时，可以定期跑一次脚本生成，放到固定路径。好处是可控，坏处是需要有人负责触发，容易忘记。可以把它挂进发布流程，或者用定时任务每天跑一次。

动态输出

内容量大、更新频繁时，通常由程序实时输出。这类实现要重点确认两件事：一是排除逻辑是否生效，二是输出内容是否与线上真实地址完全一致，避免测试环境地址混入。

不必追求 sitemap 覆盖所有页面。它更适合承载结构清晰、值得被发现的地址；把一堆参数页塞进去，反而稀释了真正内容的信号。

把 sitemap 检查放进改版、栏目调整、批量下线的流程里，每次结构调整后过一遍，比事后从日志里倒查要省事得多。