站点地图（sitemap）是给搜索引擎的一份 URL 清单。它不直接带来排名，但会影响蜘蛛能否及时知道新地址、发现更新过的旧地址。运营中常见的情况是：站点地图生成之后就再没人管，里面混着 404、重定向、noindex 页面，甚至包含改版中已经下线的栏目。蜘蛛拿着这份清单跑一趟，有效收获很少，反而占用了抓取额度。
站点地图该放什么，不该放什么
判断标准很简单：这个 URL 是否是你希望出现在搜索结果里的规范版本。
- 该放：正常的栏目页、文章页、产品页等可索引的规范地址。
- 不该放：返回 404 或 410 的页面、跳转到别处的旧地址、带 noindex 的页面、登录后才可见的页面、纯筛选排序参数生成的地址。
- 谨慎放：标签页、聚合页、分页列表。数量少且内容有差异可以留；批量生成、内容高度重复的，先别塞进去。
四类高频问题
1. 清单与页面状态脱节
文章下线、栏目合并、URL 改名之后，如果站点地图仍按数据库全量输出，就会持续把死链推给蜘蛛。建议生成时做一次状态过滤，只输出返回 200 且允许索引的地址。
2. 多语言、多终端的地址混在一起
移动端独立域名、多语言子目录如果没有用 hreflang 或等价关系说明清楚，蜘蛛容易把同一内容当成多个独立页面。站点地图里可以附加注释标记语言与对应关系，减少误判。
3. 单个文件过大、层级过深
站点地图有数量和体积上限，超过后需要拆成索引文件加多个子文件。拆分顺序按栏目或更新时间排列，方便自己排查，也方便蜘蛛分批抓取。
4. 更新时间戳随手写
lastmod 只在内容确实发生实质变化时更新。每次都写成当前时间，会让这个字段失去参考价值。
自查清单
- 从服务器日志或爬虫工具抽样验证：清单里的 URL 返回状态码是否都是 200。
- 核对 robots.txt 是否误封了站点地图文件本身或其中的目录。
- 检查清单中的 URL 是否与页面 canonical 指向的地址一致。
- 确认新发布内容能在生成周期内进入清单，而不是等下一轮全量重建。
- 观察蜘蛛对站点地图的抓取频率与页面实际被抓情况，判断清单是否被有效利用。
更新机制比清单本身更重要
内容量小时，手动维护一份 XML 可行；更新频繁就容易失真。更稳妥的做法是让站点地图由发布流程自动触发：新内容上线即写入，内容下线或改地址时同步移除或替换。搜索引擎的抓取存在延迟，不要因为当天没看到抓取就反复改动清单。
站点地图的作用是减少蜘蛛“找路”的成本，而不是替代内链和导航。如果一份清单里的地址在站内根本点不到，先补链接，再谈提交。
最后提醒一点：站点地图不是必须项。内容量小、结构清晰、内链完整的站点，蜘蛛通常也能正常发现页面。它的价值主要出现在新站、内容量大或更新频繁的场景。把它当成一份需要定期核对的运营台账，比当成一次性的提交动作更实际。