Sitemap 的作用常被高估。它本质上是一份“建议清单”,告诉搜索引擎这里有一批 URL 可以来看看。它既不能强制抓取,也不能决定收录,最终上不上索引,还是看页面本身。不过在实际运营中,sitemap 确实能让新页面、深页和缺少内链的页面更早被发现,所以值得认真维护。真正的问题是:提交之后一直没动静,该从哪里查起。
先确认这份文件能被正常读取
- 地址返回 200,不要是跳转后的旧地址,也不要返回 404 或 403。
- Content-Type 是 application/xml 或 text/xml。如果返回 text/html,多半是服务器把错误页当成内容返回了。
- 没有被 robots.txt 屏蔽。禁止抓取 sitemap 所在路径,是很常见的自伤操作。
- 文件较大时用 gzip 传输没问题,但要确保解压后内容完整、没有截断。
格式与内容:几个容易踩的点
结构
顶层用 urlset,分片索引用 sitemapindex,命名空间指向 sitemaps.org 的 0.9 版本,每条记录是 url 套 loc。loc 必须是绝对地址,URL 里的 & 要转义,否则解析会失败。
loc 里放什么
只放返回 200、且允许被索引的地址。带 noindex 的页面、登录后才能看到的页面、纯参数筛选页、已经下线的旧地址,都不该出现在里面。另外,loc 里的地址要和页面上的 canonical 保持一致,否则等于自己制造了一组互相矛盾的信号。
lastmod 别乱写
lastmod 只在内容真正变化时更新。如果每次生成都写成当前时间,搜索引擎会很快学会忽略这个字段,连带整份文件的可信度一起下降。日期用标准格式,带时间的话注意时区。
数量与分片
单个文件最多 5 万条 URL、未压缩大小不超过 50MB。超出就用 sitemap index 拆成多个子文件。一个 index 可以引用多个子 sitemap,但不要为了凑数把无关页面塞进去。
提交之后该看什么
- 过几天在 Search Console 的 sitemap 报告里看是否被成功读取,状态是不是“成功”。
- 隔几天再看“已发现 / 已抓取”的页面数有没有变化,刚提交时不要反复改文件。
- 如果长期没有新增抓取,看抓取统计是不是被其他部分占满了,比如大量参数页、重复页在消耗配额。
几个常见误区
- 提交等于收录。不是。sitemap 影响的是发现速度,不解决页面质量和重复问题。
- URL 越多越好。塞进大量低质或错误地址,反而会降低这份文件被信任的程度。
- 改版后直接替换。过渡期最好让旧地址仍可访问,sitemap 再逐步切换到新地址。
- 只提交不清理。定期把 404、已合并、已下线的页面去掉,比一直往里加更重要。
Sitemap 能做的是让 URL 更快被发现。是否抓取、是否进索引,取决于页面能不能被访问、内容有没有独立价值,以及站点整体的质量水平。把它当成辅助工具,而不是收录的开关。