很多站点把 sitemap 当成收录开关:提交上去,等几天,没动静就反复重传、拆分、改格式。实际上 sitemap 只是URL 发现的一个补充入口,它告诉搜索引擎“这里有哪些地址”,既不保证抓取,也不保证索引。把它的位置搞清楚,能省下大量无效动作。
sitemap 解决的是“知道”,不是“收录”
搜索引擎发现 URL 的路径大致有:站内链接、外链、重定向、sitemap,以及站长平台的手动提交。sitemap 的优势是覆盖面全,可以包含正文里没有入口的页面;劣势是它几乎不携带权重和上下文信息——一个只在 sitemap 里出现的 URL,和正文中被多次引用的 URL,抓取优先级并不相同。
所以出现“提交了但没收录”,先别急着改 sitemap 格式,先确认这个 URL 在站内是否还有其他正常入口。
几个常见的用法误区
- 把所有能想到的 URL 全塞进去,包括筛选参数页、重复内容页、分页的深层页
- 提交后从不更新 lastmod,或者每次生成都刷成当前时间
- 用 sitemap 去“推”被 noindex 或被 robots.txt 屏蔽的页面
- 文件里的 URL 与实际返回的 URL 不一致,比如 http 与 https、带不带 www、路径结尾有没有斜杠
- 只想靠 sitemap 让一批低质量页面被收录,却不动正文和内链
lastmod 要真实,不要当作催促按钮
lastmod 是给抓取调度参考的信号。如果每次生成 sitemap 都把它改成当天时间,搜索引擎很快就会学会忽略这个字段,之后真实更新也未必被重视。合理的做法是:内容发生实质变更时更新,模板调整、导航改动、广告位轮换不算。时间格式建议用规范写法并带上时区。
分片与体积的基本约束
单个 sitemap 文件一般不要超过 5 万条 URL,未压缩体积控制在 50MB 以内;超出就分片,再用索引文件(sitemap index)串起来。分片最好按内容类型或目录划分,而不是按时间随机切——哪一组出问题,一眼就能看出来。
另外,文件里只放你希望被抓取、返回 200 的规范 URL。重定向、404、noindex 页面混进去,只会让报告变得更难读。
提交之后该看什么
- 抓取日志:文件里的 URL 有没有被访问、访问频率如何、集中在哪些目录
- sitemap 报告:是否有解析错误,实际被读取的条数与提交条数差多少
- 索引报告:是“已编入索引”还是“已发现但未抓取”,这两种状态的处理方向完全不同
- 抽样检查:随机挑几条,确认正文入口、canonical、返回码都正常
“已发现但未抓取”通常说明站点整体抓取资源紧张,或页面优先级偏低。这时要处理的是站点结构和内容质量,再提交一次 sitemap 基本没用。
哪些问题靠 sitemap 解决不了
- 页面本身内容单薄,或与站内大量页面高度重复
- 页面需要登录、依赖交互才能看到正文
- 站点整体可抓取性差,比如大量超时和 5xx
- URL 被 robots.txt 或 noindex 有意挡住
- URL 结构混乱,同一内容存在多个版本
这些都属于抓取与索引判断层面的问题。sitemap 只是一份“名单”,改变不了名单背后页面的实际情况。
sitemap 的作用是让搜索引擎更省力地找到 URL,而不是让它必须收录。发现、抓取、索引是三件事,前一步做完,不等于后一步会自动发生。