把 sitemap 提交上去,等几天,收录数没变——这是很常见的情况。原因往往不是 sitemap 没生效,而是对它的作用范围有误解。sitemap 主要解决“发现”,不负责“决定收录”。
sitemap 负责发现,不负责收录
蜘蛛需要先知道一个 URL 存在,才会去抓。sitemap 是一份主动提交的线索清单,能帮新页面、深层页面更快进入抓取队列。但抓取之后是否进索引,由页面本身的信号决定:内容是否有独立价值、是否与已有页面重复、是否可正常访问、是否被规则挡住。sitemap 在这里没有投票权。
所以判断 sitemap 是否“有用”,不该只看收录数涨了多少,而该看:这些 URL 有没有被更快地抓取,抓取时返回的状态是否正常。
一份能被正常读取的 sitemap
- 只放你希望被索引、且返回 200 的规范 URL,不要塞参数页、筛选页、已 noindex 的页面。
- 单个文件控制在 5 万条、50MB 以内,超出就分片,并在索引文件里列全。
- lastmod 如实填写,只在内容有实质更新时才改。批量刷成当天日期,反而会让这个字段失去参考价值。
- 地址写在 robots.txt 里,或直接提交到搜索后台,两条路都做更稳妥。
提交后没动静,按这个顺序查
- sitemap 报告里是否“已读取成功”。读取失败通常是格式、编码或访问权限问题。
- 抽取几个 URL 做单页检查:返回码、robots 是否屏蔽、是否有 noindex、canonical 指向哪里。
- 看这些页面有没有站内入口。只在 sitemap 里出现、站内没有任何链接指向的页面,抓取优先级会低很多。
- 核对内容。同一批模板生成的页面,正文高度相似时,通常只有一部分会被保留在索引里。
- 看抓取日志和抓取统计。若蜘蛛来得很少,问题可能出在整站,而不是 sitemap。
常见误区
把 sitemap 当成“提交即收录”的开关,是最常见的一种。还有几种:
- 把所有 URL 都塞进去。包括筛选、排序、会话参数,等于给蜘蛛发了一批重复线索,反而稀释了重点。
- 频繁改动 lastmod。每天都变会削弱可信度,真更新时反而看不出差异。
- 多个信号互相矛盾。一边提交收录、一边屏蔽抓取,冲突时以页面级规则为准,sitemap 只是线索。
- 只靠 sitemap 做发现。内链才是站点最稳定的发现通道,sitemap 是补充。
和别的发现渠道配合
比较稳的做法是:导航和列表页保证主要栏目都有站内入口;新内容发布后及时出现在相关列表或推荐位;sitemap 覆盖全量规范 URL,作为兜底;外部入口顺其自然。这样即使某条通道延迟,页面也不至于被彻底漏掉。
一句话总结:sitemap 让蜘蛛更快知道 URL 存在,至于它值不值得进索引,要靠页面自己回答。