站点地图(sitemap)通常被当成“提交给搜索蜘蛛的地址清单”。它的作用是把希望被发现的 URL 集中告诉搜索引擎,尤其对深层页面、新页面有帮助。但很多站点的问题不是没有 sitemap,而是 sitemap 里混进了不该出现的地址:已经下线的旧链接、跳转链、被 noindex 的页面、参数组合页、重复的筛选结果。这些地址不会因为写进 sitemap 就变得有价值,反而可能让抓取资源花在无效页面上。
先检查地址本身是否可用
维护 sitemap 的第一步不是改文件,而是抽查里面的 URL 能不能正常打开。建议定期随机抽取一批地址,检查以下状态:
- 返回 404 或 410:页面已经删除,应从 sitemap 移除,或者补上有效替代地址。
- 返回 301/302:sitemap 最好直接写最终地址,而不是把跳转地址放进去。
- 返回 403/500:可能是服务器或权限问题,先解决可访问性再提交。
- 页面含 noindex:如果不希望页面被索引,就不该放在 sitemap 里。
规范地址与重复入口
同一篇内容如果存在多个可访问地址,比如带参数、带大小写差异、带尾斜杠变体,sitemap 里应只保留规范版本。可以把 sitemap 看成一份“推荐清单”,不是把站内所有地址都塞进去。对于分页、标签聚合、站内搜索结果页,要根据实际价值决定是否提交;如果这些页面内容单薄、重复度高,放在 sitemap 里反而会稀释重点。
站点地图不是越大越好,地址越全越好。它更像一份经过筛选的推荐列表,重点是准确和可索引。
lastmod 与更新节奏
lastmod 字段用来告诉搜索引擎页面最近一次实质性修改时间。常见问题是全站 lastmod 都写成当天,或者每次生成 sitemap 都自动刷新。这样做次数多了,参考价值会下降。比较稳妥的做法是:只在正文、标题、关键数据等发生实际变化时更新 lastmod;模板、导航、页脚调整通常不必影响每一页。内容更新频率不高的栏目,也不需要强行制造更新。
分片、体积与提交方式
大型站点可以把 sitemap 拆成多个文件,再用索引文件汇总。这样便于定位问题,也避免单个文件过大。提交前可以检查:
- sitemap 地址是否能直接访问,返回 200 且内容类型正确。
- 文件里是否包含完整域名,不要只写相对路径。
- 是否包含不该出现的测试地址、内网地址、临时预览地址。
- 是否在 robots.txt 或搜索资源平台中正确声明。
- 提交后观察一段时间,看抓取和索引反馈是否正常。
把 sitemap 维护放进日常流程
sitemap 不是上线时生成一次就结束的工作。栏目调整、内容下线、URL 改版、重定向规则变化,都可能让 sitemap 与现实不符。建议把检查动作绑定到发布流程里:新内容上线后自动进入 sitemap,旧内容下线时同步移除,改版后重新核对规范地址。可以用脚本定期扫描 sitemap 中的地址状态码,发现异常再人工确认。
如果站点使用蜘蛛池或外部链接工具,也要注意不要把 sitemap 当作“批量提交地址”的出口。蜘蛛池带来的访问不等于搜索蜘蛛的正式抓取,错误地址提交多了,反而会干扰对站点结构的判断。把 sitemap 做准,比盲目扩大地址数量更有意义。