站点运营

站点地图自查:别让 sitemap 变成一份没人核对的清单

很多站点的 sitemap.xml 从建站那天生成后就再没打开过,栏目改了、页面下线了它却还停在原地。本文梳理 sitemap 常见的几类问题,给出一套可执行的自查流程,并提醒 lastmod、URL 转义、屏蔽规则等容易忽略的细节,帮你在栏目调整后及时更新这份提交清单。

站点运营

站点地图自查:别让 sitemap 变成一份没人核对的清单

很多站点的 sitemap.xml 是建站那天由插件自动生成的,之后就再也没人打开看过。栏目加了、文章下线了、URL 规则换过了,这份文件却还停留在原来的样子。它不会报错,也不会让页面打不开,但会悄悄影响搜索引擎对站点结构的判断。

sitemap 是给蜘蛛看的路线图

站点地图的作用说起来简单:告诉搜索引擎你的站上有哪些 URL 值得去看,尤其是那些藏在深层、不容易被链接发现的页面。它不是收录的保证,只是一个提交线索的入口,最终抓不抓、收不收,决定权仍在搜索引擎那边。

正因为如此,这份清单的质量就很关键。如果里面混进了大量已下线的地址、带筛选参数的组合链接、甚至测试环境的页面,蜘蛛按图索骥跑过去,看到的是一堆 404 或者空白页,抓取预算就在这些无效访问里被消耗掉了。

常见的几类问题

  • 文件长期不更新,新栏目和新文章根本没有写进去;
  • 里面塞了几万条 URL,其中大部分是翻页和筛选参数;
  • 包含了被 noindex 的页面、登录页、后台地址;
  • 同一个页面出现多个版本,比如带 www 和不带 www 各写一遍;
  • sitemap 索引文件里列出的子文件已经打不开。

一次完整的自查流程

  1. 先看 robots.txt 里声明的 sitemap 地址是否正确、能否正常访问;
  2. 从文件里抽样若干个 URL 实际跑一遍,观察返回的状态码;
  3. 核对清单条数与后台实际内容量,差距过大就要找原因;
  4. 检查是否混入了本该被屏蔽或标记为不索引的地址;
  5. 确认 lastmod 时间是否真实,不要每次生成都刷成当天;
  6. 大站用索引文件拆分,单个文件控制在五万条以内。

几个容易忽略的细节

先说 lastmod。有些 CMS 插件会在页面有任何改动时重写这个字段,如果只是换了个边栏广告、调了下模板,时间也被刷成最新,蜘蛛对比几次之后就不太愿意信任这个信号了。理想情况下,它应该反映正文内容的真实变更时间。

再说 URL 转义。地址里带中文或者特殊字符时,要按规范做编码处理,否则解析这一步就可能出问题。同样值得检查的还有协议和域名的一致性,http 与 https、主域名与别名域名之间,最好只保留一个版本。

另外,分页、标签聚合页、搜索结果页要不要进 sitemap,需要有个明确态度。全部塞进去,等于把抓取预算摊薄;一条不放,又可能让真正有价值的列表页缺少入口。通常的做法是只保留主干栏目和优质内容,其余的交给内链去发现。

sitemap 不是越全越好,它应该是一份经过筛选、能真实反映站点重点内容的清单。

多久核对一次

栏目调整、批量上下线、改版迁移之后,都应该顺手看一遍。平时可以每月抽查几条,重点确认新上线的栏目有没有被正确纳入,已下线的部分有没有及时清掉。如果站点规模不大,手动维护一份也不算负担。

判断标准其实很简单:如果这份文件能让一个完全不了解你网站的人,按着它走完主要内容,中间不撞上空页面,那它就是合格的。