站点地图（sitemap）常被当成一份“交给搜索引擎的任务清单”，但它的真实作用是帮助蜘蛛更快发现 URL，并不保证提交后就会被收录。多数时候问题不在于“有没有 sitemap”，而在于这张地图是否完整、是否准确、是否和站点当前状态保持一致。地图画得对不对，直接影响到新栏目、新内容的发现速度。

一、完整性：地图是不是只画了主干道

很多站点的 sitemap 由程序自动生成，但生成规则往往只覆盖某一种内容类型，比如只输出文章详情页，栏目页、聚合页、专题页全都没有。结果是蜘蛛能顺着地图找到文章，却要靠爬链路才能摸到栏目，发现效率自然打折。

自查时可以对照几类页面：

• 首页与主要栏目页是否都在；
• 内容详情页是否覆盖全部有效内容类型，而不是只覆盖文章；
• 通过站内搜索、筛选、标签聚合产生的页面，是否该出现在地图里（多数情况下不该）；
• 分页列表页是否需要收录，如果只收第一页，后面几页是否已用合适的方式引导蜘蛛；
• 移动端与桌面端若是不同 URL，是否都有对应入口。

有一个简单的验证方式：把 sitemap 里的 URL 数量和站点内容管理后台的有效内容数量做对比。差距过大，要么是生成规则漏了内容类型，要么是地图里的 URL 早就失效了还没清掉。

二、准确性：地图上别出现“已经拆掉的房子”

sitemap 里出现 404、301、被 robots.txt 屏蔽的 URL、带 noindex 的页面，都会浪费抓取资源，也会让搜索引擎对这份地图的信任度下降。常见来源有三类：内容删除后地图未同步、URL 改版后旧地址还在、参数拼接生成的脏 URL 被误收进地图。

建议在生成环节就做过滤，而不是事后人工排查：只输出返回 200、可被抓取、且允许收录的 URL。对已下线的内容，删掉比留在里面更省事。

三、lastmod：能说明“什么时候真的变了”才有价值

lastmod 字段的作用是提示页面最后修改时间，帮助蜘蛛判断是否需要重新抓取。如果每次生成地图都把所有页面的 lastmod 刷成当天，这个字段就失去了参考意义，蜘蛛会逐渐忽略它。

lastmod 应该来自内容本身的更新时间，而不是 sitemap 文件的生成时间。批量刷时间戳看似省事，实际上是在消耗这份地图的可信度。

四、拆分与提交：大站要把地图切成合理的块

单份 sitemap 有数量与体积上限，内容量大的站点需要用索引文件把多份子地图串起来。拆分维度可以按内容类型，也可以按时间分片，关键是每一份都能独立说明问题，而不是为了凑数切得很碎。

提交层面要确认几件事：

• sitemap 地址是否写在 robots.txt 里，方便蜘蛛自动发现；
• 是否在搜索引擎后台手动提交过一次，并关注“已提交/已收录”的比例变化；
• 文件是否做了压缩传输，大文件未压缩会明显拖慢抓取；
• 生成任务是否稳定，别出现某天抓取时返回 500 或超时。

五、一份可执行的自查清单

1. 拉取当前 sitemap，统计 URL 总数，与站点有效内容数对比；
2. 抽样 20 条 URL，逐条检查状态码、是否可抓取、是否允许收录；
3. 检查地图是否覆盖全部内容类型与主要栏目；
4. 检查 lastmod 是否来自内容更新时间；
5. 检查 robots.txt 是否有 Sitemap 声明，后台提交状态是否正常；
6. 在内容上线后观察 URL 被发现的时间，确认地图起到了作用。

站点地图不是一次性配置，而是随着栏目调整、内容增删持续维护的东西。把它当作站点结构的“对外说明书”，定期核对一遍，比反复调整其他细节更直接。