站点运营

站点地图自查:给蜘蛛一份可信的 URL 清单

站点地图是主动把地址交给搜索引擎的通道,它不保证收录,但写错会添乱。本文从放什么地址、文件格式与分片、提交位置到维护与验证,梳理一份可执行的站点地图自查清单,帮你减少无效地址对抓取的干扰。

站点运营

站点地图自查:给蜘蛛一份可信的 URL 清单

站点地图(sitemap)是站点主动告诉搜索引擎“我这里有哪些地址”的通道之一。它不能保证收录,也不能让抓取量凭空变多,但能把新页面和更新过的页面更快地摆到蜘蛛面前。如果文件本身写得随意,反而会给抓取带来额外干扰。下面按写什么、怎么写、怎么维护三块做一次自查。

一、先明确站点地图里该放什么

站点地图是给搜索引擎看的地址清单,不是站点导航的备份。它的核心是“我愿意被索引的规范 URL”。

只放可访问、可索引的地址

  • 返回 200 状态码、内容能正常打开的页面。
  • 经过 canonical 确认的主地址,不要把带追踪参数、带会话 ID 的版本一并写进去。
  • 被 robots.txt 屏蔽或页面带 noindex 的地址不要放,否则规则互相矛盾。
  • 登录后才可见的页面、购物车、站内搜索结果页、后台地址一律排除。

lastmod 要写真实时间

如果清单里所有 URL 的 lastmod 都是同一时刻,或者每次生成都刷成当前时间,搜索引擎会逐渐忽略这个字段。宁可只给确实改动过的页面写日期,也不要把全站时间统一刷新。时间格式按规范写全,带时区偏移更稳妥。

二、文件本身要能被正常读取

编码与格式

  • 使用 UTF-8 编码,XML 声明与实际编码保持一致。
  • URL 中的中文、空格等特殊字符要按 XML 规则转义,不能直接出现保留符号。
  • 文件体积较大时开启 gzip 压缩,能减少传输开销。

分片与索引文件

单个文件建议不超过 5 万条 URL、未压缩不超过 50MB。超过就分片,并用 sitemap index 列出所有子文件。分片后要逐个确认子文件可访问,别出现某个分片返回 404 的情况。子文件的命名保持规律,便于以后排查。

提交位置

  • 在 robots.txt 里用 Sitemap 指令声明地址。
  • 同时在搜索资源平台的站长工具中提交。
  • 核对域名、协议(http 或 https)、www 与非 www 是否与站点实际访问一致。

三、维护节奏与验证

什么时候更新

  1. 批量发布新内容之后。
  2. 栏目结构调整、URL 规则变更之后。
  3. 重要页面大幅改版之后。
  4. 定期全量生成一次,作为兜底,频率视更新量而定。

怎么验证清单是否可信

  • 直接访问 sitemap 地址,确认返回 200 且内容为合法 XML。
  • 随机抽查若干 URL,确认可正常打开、不是重定向跳转、页面没有 noindex。
  • 把清单中的 URL 数量与站内实际可索引页面数对比,差异过大要查找原因。
  • 对照服务器日志,看蜘蛛是否按预期抓取了清单里的地址,以及抓取后的状态码分布。
站点地图是提名,不是录取。它把候选地址交出去,是否抓取、是否索引仍由搜索引擎判断。

最后一点:站点地图不要长期放着不管。站点结构变了、URL 规则改了,旧清单里的地址就会变成 404 或重定向,反过来增加抓取负担。把生成和校验纳入日常流程,比一次性写完更管用。