站点运营

站点运营:Sitemap 自查与维护,给蜘蛛一张准确的地图

站点地图是给搜索引擎的一份地址清单,准确比数量更重要。本文从文件可访问性、地址有效性、lastmod 写法、收录范围到提交后的定期比对,梳理一份可落地的自查清单,帮站点把这份地图维持在可用状态。

站点运营

站点运营:Sitemap 自查与维护,给蜘蛛一张准确的地图

站点地图(sitemap)本质上是给搜索引擎的一份地址清单。它不能保证页面被收录,但能减少蜘蛛“找不到入口”的情况。很多站点的问题不是没有 sitemap,而是里面塞了不该塞的东西,或者早就过期失效。下面按自查顺序梳理一遍。

先确认你要的是哪种地图

常见的 sitemap 分几种,用途不同,别混着理解:

  • 普通 XML sitemap:列出页面地址,最常用。
  • sitemap 索引文件:地址较多时用一个索引指向多个子地图,单个文件建议控制在 5 万条、未压缩 50MB 以内。
  • 新闻、图片、视频专用地图:有对应内容类型再考虑,没有就别硬加。
  • HTML 站点地图页:给用户看的导航页,对蜘蛛也有辅助作用,但不能替代 XML 文件。

自查清单:从地址本身开始

1. 文件能不能正常打开

直接在浏览器里访问 sitemap 地址,确认返回 200、内容类型是 XML,不是被 CDN 缓存成旧版本,也没有被 robots.txt 误封。如果 robots.txt 里 Disallow 了整个目录,sitemap 放在里面同样会被挡住。

2. 里面装的必须是真实可访问的页面

把地图里的地址抽样点开,重点检查:是否 301 跳到别的地址、是否 404、是否 canonical 指向了另一个页面。如果页面本身已经用 canonical 声明了主地址,sitemap 里就应该写那个主地址,而不是把被合并的版本也列一遍。

另外要核对大小写、尾斜杠、参数顺序是否与站内实际链接一致。同一页出现两个写法,等于给蜘蛛多送了一个待确认的地址。

3. lastmod 别随手写

lastmod 只在内容确实发生变化时更新。每次发布都全量刷新时间戳,短期看着“活跃”,时间一长蜘蛛会发现时间与内容对不上,参考价值自然下降。真正改过内容的页面再更新,才是有意义的信号。

4. 别把不该出现的地址放进去

  • 登录、购物车、用户中心等需要状态才能打开的页面;
  • 筛选、排序、分页组合出来的参数地址;
  • 测试环境、备份目录、临时生成的页面;
  • 已屏蔽或已下线的栏目。

这些地址放进去,只会让抓取预算耗在低价值页面上。

提交之后要做的两件事

  1. 在搜索资源平台提交并观察:看已提交量与已发现量的差距,差距长期过大,通常说明部分地址不可访问或文件格式有问题。
  2. 定期比对:把 sitemap 地址列表和站点实际发布的页面清单对一遍,找出“已发布但没进地图”和“地图里有但已下线”两类偏差。
把 sitemap 当成一份需要维护的文档,而不是生成一次就忘掉的产物。它最大的价值是准确,不是数量多。

维护节奏怎么定

更新频繁的站点,可以让程序在发布时自动追加;更新较慢的站点,每周或每两周重新生成一次即可。无论哪种方式,都要保证生成逻辑和站点结构同步——栏目调整、改版迁移之后,第一件事就是重新生成 sitemap,否则蜘蛛拿到的还是旧地图。

最后提醒一句:sitemap 只是辅助发现的工具,页面能不能被收录、出现在什么位置,最终还是由内容质量、站点结构和整体状态决定。把地图做准,只是先把这个环节的干扰项排除掉。