站点地图(sitemap)本质上是给搜索引擎的一份地址清单。它不能保证页面被收录,但能减少蜘蛛“找不到入口”的情况。很多站点的问题不是没有 sitemap,而是里面塞了不该塞的东西,或者早就过期失效。下面按自查顺序梳理一遍。
先确认你要的是哪种地图
常见的 sitemap 分几种,用途不同,别混着理解:
- 普通 XML sitemap:列出页面地址,最常用。
- sitemap 索引文件:地址较多时用一个索引指向多个子地图,单个文件建议控制在 5 万条、未压缩 50MB 以内。
- 新闻、图片、视频专用地图:有对应内容类型再考虑,没有就别硬加。
- HTML 站点地图页:给用户看的导航页,对蜘蛛也有辅助作用,但不能替代 XML 文件。
自查清单:从地址本身开始
1. 文件能不能正常打开
直接在浏览器里访问 sitemap 地址,确认返回 200、内容类型是 XML,不是被 CDN 缓存成旧版本,也没有被 robots.txt 误封。如果 robots.txt 里 Disallow 了整个目录,sitemap 放在里面同样会被挡住。
2. 里面装的必须是真实可访问的页面
把地图里的地址抽样点开,重点检查:是否 301 跳到别的地址、是否 404、是否 canonical 指向了另一个页面。如果页面本身已经用 canonical 声明了主地址,sitemap 里就应该写那个主地址,而不是把被合并的版本也列一遍。
另外要核对大小写、尾斜杠、参数顺序是否与站内实际链接一致。同一页出现两个写法,等于给蜘蛛多送了一个待确认的地址。
3. lastmod 别随手写
lastmod 只在内容确实发生变化时更新。每次发布都全量刷新时间戳,短期看着“活跃”,时间一长蜘蛛会发现时间与内容对不上,参考价值自然下降。真正改过内容的页面再更新,才是有意义的信号。
4. 别把不该出现的地址放进去
- 登录、购物车、用户中心等需要状态才能打开的页面;
- 筛选、排序、分页组合出来的参数地址;
- 测试环境、备份目录、临时生成的页面;
- 已屏蔽或已下线的栏目。
这些地址放进去,只会让抓取预算耗在低价值页面上。
提交之后要做的两件事
- 在搜索资源平台提交并观察:看已提交量与已发现量的差距,差距长期过大,通常说明部分地址不可访问或文件格式有问题。
- 定期比对:把 sitemap 地址列表和站点实际发布的页面清单对一遍,找出“已发布但没进地图”和“地图里有但已下线”两类偏差。
把 sitemap 当成一份需要维护的文档,而不是生成一次就忘掉的产物。它最大的价值是准确,不是数量多。
维护节奏怎么定
更新频繁的站点,可以让程序在发布时自动追加;更新较慢的站点,每周或每两周重新生成一次即可。无论哪种方式,都要保证生成逻辑和站点结构同步——栏目调整、改版迁移之后,第一件事就是重新生成 sitemap,否则蜘蛛拿到的还是旧地图。
最后提醒一句:sitemap 只是辅助发现的工具,页面能不能被收录、出现在什么位置,最终还是由内容质量、站点结构和整体状态决定。把地图做准,只是先把这个环节的干扰项排除掉。