网站收录

sitemap 提交后没动静:先排查文件本身的几处细节

sitemap 提交后长时间没动静,问题常常不在搜索引擎,而在文件本身。本文梳理文件里最容易出错的几处:URL 是否都该被抓、lastmod 是否真实、分片与访问是否正常、和 robots、canonical 是否互相打架,并给出提交后的观察顺序,把 URL 发现这条链路重新理顺。

网站收录

sitemap 提交后没动静:先排查文件本身的几处细节

sitemap 常被当成一个开关:提交了,就该收录。实际上它只解决一件事——告诉搜索引擎这里有一批 URL 存在。抓不抓、收不收,取决于页面本身和站点整体情况。所以当提交后长时间没动静,先回到文件本身看几处细节,通常比反复重新提交更有用。

sitemap 到底解决什么

搜索引擎发现 URL 的入口有好几类:站内链接、外部链接、sitemap,以及历史抓取积累。sitemap 的优势是覆盖面全、更新及时,尤其适合深层页面和新上线的内容。它的局限同样明显:文件只是线索,既不是抓取命令,也不是收录承诺。把它理解成给蜘蛛的一份地图,而不是一张收录申请表,预期会合理很多。

提交只是把 URL 放进候选池。是否抓取、是否收录,最终还是要回到页面质量和站点整体表现上。

文件里最容易被忽略的几处

放进来的 URL 是不是都该被抓

  • 设置了 noindex 的页面不要写进 sitemap,两边信号矛盾会让蜘蛛白跑一趟。
  • 有跳转的旧地址不要写,直接写跳转后的最终地址。
  • 带大量参数的筛选页、站内搜索结果页、翻得很深的分页,一般不值得放进去。
  • 已经 404 或 410 的地址如果不清理,会造成反复抓取空页面,浪费抓取配额。

lastmod 是不是真的在变

lastmod 的作用是提示内容的实际更新时间。如果每次生成文件都把全部 URL 的时间戳刷成今天,这个字段很快就会失去参考价值;反过来,内容明明改过却不更新,也可能让重抓延后。建议按内容真实变更时间写入,没有改动就不要动它。

文件本身能不能被正常读到

  • URL 数量超过五万条或体积过大时需要分片,并用 sitemap 索引文件把它们串起来。
  • 文件地址要能公开访问,不要挡在登录、白名单或 CDN 的访问控制后面。
  • robots.txt 里的 Sitemap 声明建议写完整的绝对地址。
  • XML 格式错误、编码不统一,都可能让整个文件解析失败,而报告里未必给出明确提示。

和 robots、canonical 是否打架

最常见的冲突有两种:robots.txt 阻止了某个目录,sitemap 里却还在推这些 URL;页面 canonical 指向另一个地址,sitemap 里写的却是当前地址。这类矛盾不会报错,但会让抓取预算花在无效请求上。整理一遍,保证能被抓、能自指、值得收这三件事彼此一致。

提交之后怎么观察

  1. 看 sitemap 报告里已发现的网址数,是否接近文件里的实际条目数量。
  2. 用抓取统计或服务器日志,确认这些 URL 有没有真的被请求过。
  3. 抽样挑几个地址,用 URL 检查工具看当前状态和抓取结果。
  4. 分批次做对比,观察新增内容从提交到被抓的延迟有没有在缩短。

如果已发现数量对得上,但长时间没有抓取请求,问题多半不在文件,而在站点整体的抓取分配。这时候更值得回头看内链结构和内容质量。反过来,如果已发现数量远低于文件条目,就先怀疑文件解析、格式或访问限制。

几个常被问到的点

是不是提交得越频繁越好

没必要。文件随内容更新自然重新生成即可。没有变化的反复提交不会加速收录,反而让报告数据波动更难判断。

新站能不能只靠 sitemap 被收录

新站阶段,蜘蛛对站点的信任度有限,单靠 sitemap 推 URL 收效偏慢。更稳的做法是让新页面从首页或栏目页经过少量点击就能到达,sitemap 作为补充入口,而不是唯一入口。

收录变差了要不要删掉 sitemap

不要。收录波动的原因通常在页面质量和抓取分配,不在文件本身。删掉 sitemap 只会让 URL 发现变慢,原来的问题没解决,还多出一层干扰变量。

小结

sitemap 是个成本低、长期有效的工具,但它只负责让 URL 被看见。把文件里的地址控制在该抓、可抓、值得抓的范围内,保证 lastmod 真实、格式可读、与 robots 和 canonical 不冲突,剩下的就交给页面质量和站内结构去解决。提交之后按节奏观察,别用反复提交替代排查。