站点地图（sitemap）是站点主动向搜索引擎说明“我有哪些页面”的文件。它不保证页面被收录，也不保证排名，但确实能帮助蜘蛛更快发现新地址、了解页面的更新时间。不少站点把它当成一次性配置，上线时提交一次就再没管过，结果文件里躺着几百个已经删除的 URL，新开的栏目却一个都没进去。
先确认它到底在做什么
常见的误解是把 sitemap 当作收录开关。实际上它更像一份对外的地址清单：告诉爬虫哪些 URL 存在、大概多久更新一次。真正决定是否收录的，还是页面本身的质量、可访问性和站内链接结构。把它整理干净，收益是让发现过程更顺畅，而不是让页面凭空出现。
内容自查清单
清单里有没有不该出现的地址
- 已设置 noindex 的页面不必再放进 sitemap，两边信号互相矛盾。
- 返回 404 或 301 的旧地址，应从清单中移除或替换成最终地址。
- 带跟踪参数的 URL、站内搜索结果页、分页的深层翻页，通常不值得单独列出。
- 需要登录才能访问的页面，蜘蛛拿到的只是跳转或空白，列进去意义有限。
lastmod 要尽量真实
有些 CMS 在发布任何内容时都会刷新全站 lastmod，结果所有页面的更新时间都显示为今天。这类信号用久了会被忽略。更稳妥的做法是让 lastmod 只在正文实质变化时更新，比如内容修订、价格调整、数据补充，而不是模板改动或评论新增。
单文件规模与拆分
单个 sitemap 文件一般建议不超过 5 万条 URL，未压缩体积控制在 50MB 以内。内容量大的站点可以按栏目或内容类型拆分，再用一个索引文件把它们串起来。这样局部更新时不必重写整份文件，排查问题也更快。
格式与访问细节
- URL 写完整地址，包含协议与域名，不要只用相对路径。
- 特殊字符做转义，避免解析失败。
- XML 声明与命名空间按规范写，别手工拼出语法错误。
- 文件本身要能直接访问并返回 200，不要被 robots.txt 挡住。
更新与提交的节奏
- 内容发布后只重建对应栏目的 sitemap，而不是每天全量重写。
- 在 robots.txt 中声明 sitemap 地址，方便爬虫自行发现。
- 在搜索资源平台手动提交有变更的部分，作为补充手段。
- 每月抽查一次：随机取几条 URL，确认可访问、内容与清单描述一致。
怎么判断有没有起作用
比较直接的办法是看服务器日志：统计蜘蛛对 sitemap 文件的请求频率，以及请求之后是否跟进了对清单中新 URL 的抓取。如果文件每天被拉取，新页面却迟迟没动静，问题通常不在 sitemap，而在站内链接、页面质量或服务器响应速度上。反过来，如果日志里几乎看不到对 sitemap 的请求，先检查文件是否可访问、是否写错了域名。
站点地图能做的只是把门牌号写清楚，访客进不进来，还是要看屋里有什么。
小结
把 sitemap 当作一项需要长期维护的基础设置：定期清理失效地址、保证 lastmod 诚实、规模大了就拆分、发布后及时更新。它不会让排名凭空上升，但能让新内容少走一些弯路。