网站收录

sitemap 不是提交一次就完事:lastmod、分片和失效地址的维护节奏

sitemap 提交之后常被搁置,但它其实需要持续维护。本文从 lastmod 怎么写、分片与索引文件怎么组织、失效地址如何清理、提交后该看哪些反馈几个方面,说明怎样让这份清单保持准确,并分清“被发现”和“被收录”这两件事。

网站收录

sitemap 不是提交一次就完事:lastmod、分片和失效地址的维护节奏

很多站点把 sitemap 当成一次性的动作:上线时生成一份,扔进搜索资源平台,之后再没打开过。实际上它更像一份需要持续维护的候选清单,它告诉搜索引擎“这些地址值得来抓”,但既不保证抓取,也不保证收录。清单维护得越准,作为参考的价值越高;混进太多噪声,反而会稀释信号。

sitemap 只是候选清单

它解决的是“发现”问题,不解决“索引”问题。地址写进去,只代表你希望它被看到。能否被抓、抓了之后是否进索引,取决于 robots 规则、服务器可访问性、页面本身的质量,以及它与其他地址之间的关系。把 sitemap 理解成“给爬虫的一份目录”,比理解成“收录开关”更接近事实。

lastmod:写真实修改时间,别批量刷

  • 只在正文有实质变化时更新;改模板、改页脚、改导航不算内容更新。
  • 不要每次构建都写入当前时间,全站时间戳整齐划一反而是异常信号。
  • 时间格式统一(常用 ISO 8601 并带时区),别在同一份文件里混用多种写法。
  • 长期不更新的老页面可以保留在清单里,但不必为了“显得活跃”而人为改动时间。

规模上来后:分片与索引文件

单个 sitemap 文件有地址数量与体积上限(常见是 5 万条 URL、未压缩 50MB 量级),超过就要拆成多个文件,再用一个 sitemap index 文件把它们串起来。

  • 按栏目或页面类型分片,出问题时能快速定位是哪一批地址。
  • 分片文件地址保持稳定,别频繁改名或换路径。
  • 每个文件都要是有效 XML,编码声明正确,地址里的 & 等特殊字符要转义。

失效地址要及时摘掉

清单里长期挂着大量 404、410 或已被 noindex 的地址,会让这份目录的可信度下降,排查问题时也被噪声干扰。

  • 返回 404、410 的地址:确认下线后直接从 sitemap 移除。
  • 做过 301 的地址:写跳转后的目标地址,别把旧地址留在里面。
  • 被 noindex 或 robots 屏蔽的地址:不要出现在 sitemap 里,两边信号互相矛盾。

提交之后盯哪些反馈

提交后首先要看的是“有没有被抓”,而不是“有没有被收录”。平台里的 sitemap 报告一般会给出已提交地址数、被发现的地址数、抓取情况,这些数字反映的是你给的清单有没有被读到、被处理,与最终索引状态是两件事。

  • 已发现数远低于已提交数:先检查文件格式、地址可访问性、分片是否都挂进了索引文件。
  • 有抓取但长期不入索引:问题多半在页面本身,不在 sitemap。
  • 观察周期按周看,不必几小时刷一次,短时间的波动说明不了什么。

几个常见误区

  1. 把 sitemap 当成收录保证,提交完就等结果。
  2. 把全站 lastmod 统一改成当天,指望这样能催快抓取。
  3. 把所有筛选页、排序页、带参数的地址一并塞进去,让清单里大半是低价值地址。
  4. 只放首页和栏目页,深层内容全靠内链慢慢被发现。
  5. 站点调整后新旧地址同时存在,清单里两份都留着。
sitemap 的价值在于准确,不在于多。清单越干净,越接近站点真正希望被索引的那批地址。