网站收录

sitemap 提交了还是不收录:它在 URL 发现链路里的真实位置

sitemap 只是 URL 发现的补充入口,既不保证抓取也不保证索引。本文说明它在发现链路中的位置、lastmod 与分片的正确用法、提交后该核对哪些报告,以及哪些问题靠 sitemap 解决不了,帮你把精力放在真正影响收录的环节上。

网站收录

sitemap 提交了还是不收录:它在 URL 发现链路里的真实位置

很多站点把 sitemap 当成收录开关:提交上去,等几天,没动静就反复重传、拆分、改格式。实际上 sitemap 只是URL 发现的一个补充入口,它告诉搜索引擎“这里有哪些地址”,既不保证抓取,也不保证索引。把它的位置搞清楚,能省下大量无效动作。

sitemap 解决的是“知道”,不是“收录”

搜索引擎发现 URL 的路径大致有:站内链接、外链、重定向、sitemap,以及站长平台的手动提交。sitemap 的优势是覆盖面全,可以包含正文里没有入口的页面;劣势是它几乎不携带权重和上下文信息——一个只在 sitemap 里出现的 URL,和正文中被多次引用的 URL,抓取优先级并不相同。

所以出现“提交了但没收录”,先别急着改 sitemap 格式,先确认这个 URL 在站内是否还有其他正常入口。

几个常见的用法误区

  • 把所有能想到的 URL 全塞进去,包括筛选参数页、重复内容页、分页的深层页
  • 提交后从不更新 lastmod,或者每次生成都刷成当前时间
  • 用 sitemap 去“推”被 noindex 或被 robots.txt 屏蔽的页面
  • 文件里的 URL 与实际返回的 URL 不一致,比如 http 与 https、带不带 www、路径结尾有没有斜杠
  • 只想靠 sitemap 让一批低质量页面被收录,却不动正文和内链

lastmod 要真实,不要当作催促按钮

lastmod 是给抓取调度参考的信号。如果每次生成 sitemap 都把它改成当天时间,搜索引擎很快就会学会忽略这个字段,之后真实更新也未必被重视。合理的做法是:内容发生实质变更时更新,模板调整、导航改动、广告位轮换不算。时间格式建议用规范写法并带上时区。

分片与体积的基本约束

单个 sitemap 文件一般不要超过 5 万条 URL,未压缩体积控制在 50MB 以内;超出就分片,再用索引文件(sitemap index)串起来。分片最好按内容类型或目录划分,而不是按时间随机切——哪一组出问题,一眼就能看出来。

另外,文件里只放你希望被抓取、返回 200 的规范 URL。重定向、404、noindex 页面混进去,只会让报告变得更难读。

提交之后该看什么

  1. 抓取日志:文件里的 URL 有没有被访问、访问频率如何、集中在哪些目录
  2. sitemap 报告:是否有解析错误,实际被读取的条数与提交条数差多少
  3. 索引报告:是“已编入索引”还是“已发现但未抓取”,这两种状态的处理方向完全不同
  4. 抽样检查:随机挑几条,确认正文入口、canonical、返回码都正常

“已发现但未抓取”通常说明站点整体抓取资源紧张,或页面优先级偏低。这时要处理的是站点结构和内容质量,再提交一次 sitemap 基本没用。

哪些问题靠 sitemap 解决不了

  • 页面本身内容单薄,或与站内大量页面高度重复
  • 页面需要登录、依赖交互才能看到正文
  • 站点整体可抓取性差,比如大量超时和 5xx
  • URL 被 robots.txt 或 noindex 有意挡住
  • URL 结构混乱,同一内容存在多个版本

这些都属于抓取与索引判断层面的问题。sitemap 只是一份“名单”,改变不了名单背后页面的实际情况。

sitemap 的作用是让搜索引擎更省力地找到 URL,而不是让它必须收录。发现、抓取、索引是三件事,前一步做完,不等于后一步会自动发生。