站点地图(sitemap)是站点主动告诉搜索引擎“我这里有哪些地址”的通道之一。它不能保证收录,也不能让抓取量凭空变多,但能把新页面和更新过的页面更快地摆到蜘蛛面前。如果文件本身写得随意,反而会给抓取带来额外干扰。下面按写什么、怎么写、怎么维护三块做一次自查。
一、先明确站点地图里该放什么
站点地图是给搜索引擎看的地址清单,不是站点导航的备份。它的核心是“我愿意被索引的规范 URL”。
只放可访问、可索引的地址
- 返回 200 状态码、内容能正常打开的页面。
- 经过 canonical 确认的主地址,不要把带追踪参数、带会话 ID 的版本一并写进去。
- 被 robots.txt 屏蔽或页面带 noindex 的地址不要放,否则规则互相矛盾。
- 登录后才可见的页面、购物车、站内搜索结果页、后台地址一律排除。
lastmod 要写真实时间
如果清单里所有 URL 的 lastmod 都是同一时刻,或者每次生成都刷成当前时间,搜索引擎会逐渐忽略这个字段。宁可只给确实改动过的页面写日期,也不要把全站时间统一刷新。时间格式按规范写全,带时区偏移更稳妥。
二、文件本身要能被正常读取
编码与格式
- 使用 UTF-8 编码,XML 声明与实际编码保持一致。
- URL 中的中文、空格等特殊字符要按 XML 规则转义,不能直接出现保留符号。
- 文件体积较大时开启 gzip 压缩,能减少传输开销。
分片与索引文件
单个文件建议不超过 5 万条 URL、未压缩不超过 50MB。超过就分片,并用 sitemap index 列出所有子文件。分片后要逐个确认子文件可访问,别出现某个分片返回 404 的情况。子文件的命名保持规律,便于以后排查。
提交位置
- 在 robots.txt 里用 Sitemap 指令声明地址。
- 同时在搜索资源平台的站长工具中提交。
- 核对域名、协议(http 或 https)、www 与非 www 是否与站点实际访问一致。
三、维护节奏与验证
什么时候更新
- 批量发布新内容之后。
- 栏目结构调整、URL 规则变更之后。
- 重要页面大幅改版之后。
- 定期全量生成一次,作为兜底,频率视更新量而定。
怎么验证清单是否可信
- 直接访问 sitemap 地址,确认返回 200 且内容为合法 XML。
- 随机抽查若干 URL,确认可正常打开、不是重定向跳转、页面没有 noindex。
- 把清单中的 URL 数量与站内实际可索引页面数对比,差异过大要查找原因。
- 对照服务器日志,看蜘蛛是否按预期抓取了清单里的地址,以及抓取后的状态码分布。
站点地图是提名,不是录取。它把候选地址交出去,是否抓取、是否索引仍由搜索引擎判断。
最后一点:站点地图不要长期放着不管。站点结构变了、URL 规则改了,旧清单里的地址就会变成 404 或重定向,反过来增加抓取负担。把生成和校验纳入日常流程,比一次性写完更管用。