在蜘蛛池的运营里，sitemap 常被当成“提交完就不管”的文件。对入口页来说，它其实承担着另一件事：把“还有哪些 URL 值得来一趟”明确告诉蜘蛛。蜘蛛池解决的是让蜘蛛有路可走，sitemap 解决的是让蜘蛛少走弯路。两者配合得好，入口页被发现的速度和覆盖广度会更稳定一些。
sitemap 在蜘蛛池里的实际角色
蜘蛛池的核心是链接发现路径：入口页互相链接，蜘蛛顺着链接往下爬。但纯靠链接有天然的衰减，越深的页面被访问到的概率越低。sitemap 相当于给蜘蛛提供了一份平铺的清单，把深层的、链接位置不明显的入口页也摆到明面上。它不保证蜘蛛一定会来，但能降低“藏在角落没人发现”的概率。
分片：不要把 URL 全塞进一个文件
单个 sitemap 有数量和体积上限，常见约定是 5 万条 URL、未压缩不超过 50MB，超了就要用索引文件加多个子 sitemap。入口页规模大的时候，怎么拆比拆不拆更重要。
- 按域名拆：一个站点一个文件，出问题时容易定位
- 按更新状态拆：把近期有内容变动的入口页单独放一个文件，方便观察抓取反应
- 索引文件只写子 sitemap 地址，不要把正文 URL 混进来
拆完之后要保证索引文件本身可访问、格式正确，否则子文件写得再规范也白搭。
lastmod 不要随手写当前时间
lastmod 是给蜘蛛判断“这个页面要不要重新来一趟”的信号。如果每次生成 sitemap 都把全部 URL 的 lastmod 刷成当天，等于告诉蜘蛛“所有页面都刚更新过”，久而久之这个字段就失去参考价值，真正更新过的入口页反而淹没在噪音里。只在内容实质变化时更新 lastmod，批量生成时保持原值。
另外，lastmod 的格式要统一，时区标注清楚，避免出现未来时间。
和 robots、入口页链接的配合
sitemap 里出现的 URL，应当和 robots 允许抓取的范围一致，不然蜘蛛拿到清单后又发现被屏蔽，属于无效指引。同样，入口页之间该有的链接结构不能省，sitemap 是补充而不是替代。一个只有 sitemap、页面之间毫无互链的站点，蜘蛛读完清单后往往就无路可走了。
几个日常可执行的做法
- 把 sitemap 地址写进 robots.txt，同时在搜索引擎后台提交一份，两条路都留着
- 定期抽查 sitemap 中 URL 的返回码，剔除已失效的入口页，避免清单里混入大量 404
- 观察抓取日志里蜘蛛对 sitemap 的读取频率和后续抓取量，判断这份清单是否被认真对待
- 域名或栏目调整后及时同步索引文件，别留下指向旧地址的子文件
sitemap 是提高被发现概率的工具，不是收录的保证。把它当成一份需要持续维护的索引，而不是一次性的提交动作。