站点地图先解决发现问题
搜索引擎发现一个新 URL，通常有几条路：外部链接、站内链接、站点地图、以及搜索资源平台的手动提交。站点地图的定位是批量声明可访问 URL，让爬虫知道站内还有哪些页面值得看一眼。它不等于收录指令，也不保证抓取和索引。把 sitemap 当成收录开关，往往会在提交后看不到预期变化。
哪些 URL 适合放进站点地图
站点地图应该尽量只包含希望被索引、且当前可正常访问的规范 URL。判断时可以先过一遍基础条件：
- 返回 200 状态码，不是 301、302、404 或 5xx；
- 没有加 noindex，也没有被 robots.txt 屏蔽抓取；
- 是规范 URL，不是参数排序页、追踪链接或重复变体；
- 内容有独立价值，不是纯筛选结果或空聚合页。
如果站点里存在大量低质聚合页、标签页或参数页，不要因为“想让它们被收录”就全部塞进 sitemap。搜索引擎会把 sitemap 当成一种信号，但最终仍会按页面质量和索引预算做取舍。
维护 sitemap 时容易踩的坑
1. 只提交，不更新
页面已删除、已停用或已改版跳转，sitemap 里还留着旧 URL，会让爬虫反复访问无效地址，浪费抓取资源。定期清理已失效地址，比一次提交大而全的列表更有用。
2. lastmod 随意写
lastmod 应该反映内容实质更新时间。如果每次发布都批量改写所有页面的 lastmod，这个字段会逐渐失去参考价值，甚至让搜索引擎降低对它的信任。
3. 分片与索引文件混乱
URL 数量多时可以按栏目或类型分片，再用 sitemap 索引文件汇总。分片要便于维护和排查，不要把所有 URL 随机拆散，也不要让索引文件指向已经 404 的分片。
提交之后看什么
把 sitemap 提交上去，只是让 URL 进入发现队列。接下来更值得观察的是：
- 已提交的 URL 是否被实际抓取，抓取频率有没有变化；
- 抓取后是进入索引，还是停在“已发现”“已抓取未索引”等状态；
- 若长期只被发现不抓取，检查页面内链深度、服务器响应、URL 是否过度重复；
- 若抓取后不索引，回到内容质量、重复度和页面价值上找原因。
这些信息可以结合抓取日志和索引报告一起看，不要只用 site 查询数字下结论。
站点地图要配合内链使用
站点地图是补充入口，不是站内链接的替代品。重要页面仍然需要有清晰的内链路径：首页、栏目页、相关文章、面包屑都可以帮助爬虫理解层级。一个页面如果只出现在 sitemap 里，站内没有任何入口，就算被发现，也很难获得稳定的抓取和权重传递。
站点地图负责让 URL 被看见，收录仍由页面质量、抓取预算和索引策略共同决定。
总结一下：把 sitemap 当成“可抓取 URL 清单”来维护，只放规范、可访问、有价值的页面，保持更新，并和内链、内容质量一起看。这样它才能稳定发挥发现作用，而不是变成一份无人维护的旧地址列表。