搜索蜘蛛从站点发现新URL，通常靠内链、外链、sitemap等途径。其中，sitemap（站点地图）是一种主动推送的机制，但它常常被低估，或者被用错方向。本文不谈玄学，只讲实际运营中，如何让sitemap在URL发现环节发挥该有的作用。
sitemap不是提交按钮，而是信息清单
很多人把sitemap当作提交工具，以为提交一次就万事大吉。实际上，sitemap更像一份清单，告诉搜索蜘蛛：你的站点有哪些重要URL，它们大概多久更新一次，优先级如何。蜘蛛会根据这份清单去安排抓取计划，但清单本身并不会让页面获得更高权重。
主动提供路径，减少漏抓
站点内部、外部链接都可能断了，或者有些新页面还没被链到任意位置。这时sitemap就成为一条备用路径，尤其适合那些在结构上较深、但内容有价值的页面。把这类URL写进sitemap，等于给蜘蛛递上一张导航卡。
更新频率与优先级的合理标注
sitemap协议里可以标注每个URL的lastmod（最后修改时间）、changefreq（更新频率）和priority（优先级）。但请记住，这些只是建议，蜘蛛仍会以自己的判断为准。实际运营中，最有用的是lastmod，它可以帮助蜘蛛识别内容变化，从而决定是否重新抓取。因此，当页面有实质更新时，务必同步更新lastmod，而不是草草改个时间。
让sitemap保持新鲜和准确
一份过期的sitemap比没有更糟糕，因为它会误导蜘蛛去访问已经删除或变成错误页的URL，浪费资源。
内容更新后及时刷新sitemap
建议站点在发布新文章、修改重要页面，或删除旧页面后，自动或手动更新sitemap。如果站点内容频繁变动，可以生成动态sitemap；如果内容稳定，静态sitemap定时更新也可以。
保证sitemap中的URL规范一致
- 使用同一域名（不要混用www和非www）
- 统一协议（http或https，确保与站点实际一致）
- 避免带上追踪参数、session ID等无效内容
- 如果做过多语言或多地区，使用hreflang标注
这些细节看似琐碎，但能减少蜘蛛在URL规范化上的开销，让它更快识别你真正想暴露的页面。
sitemap与robots.txt的配合
robots.txt可以指向sitemap文件的位置，这是一个约定俗成的做法。但注意，robots.txt禁止的URL，不应出现在sitemap中。两者出现冲突，会让蜘蛛困惑，并可能影响其他URL的发现。建议在robots.txt中允许蜘蛛访问sitemap，同时确保sitemap里的URL都是允许被抓取的。
常见sitemap误区
- 提交所有页面：把后台地址、登录页、重复筛选页也放进sitemap，反而稀释了重点URL的价值。
- 更新频率夸张：明明一个月改一次，却标记为“always”，时间长了蜘蛛会不太信任你的标注。
- 忽略移动版：如果站点有移动适配，sitemap中应包含对应的移动URL或标注relation link。
- sitemap体积过大：超过协议限制或分割不当，可能导致解析失败。
把sitemap放到运营流程里
site运营者可以把sitemap当作站点的“内容清单”来维护。每当栏目调整、页面迁移、内容下线时，同步梳理sitemap。在网站改版期间，sitemap的更新尤为重要，它能帮助蜘蛛及时认识新的URL结构。
sitemap不是万能的，但它是一个值得长期维护的运营细节。与其他URL发现通道（内链、面包屑、site结构）配合，才能让蜘蛛更高效地抓取你的站点。
记住，sitemap不能保证收录和排名，它的目标只是把URL的“发现”环节做得更顺滑。运营者真正该做的，是让内容、结构和sitemap三者的信息保持一致。这样，url发现会更有章法，站点运营也就更有把握。