不少蜘蛛池把精力都放在入口页互链和跳转层上，却忽略了 sitemap 这条最直接的 URL 发现通道。它本身不制造抓取，只是把“有哪些页面值得来抓”讲清楚，但它会影响蜘蛛在有限抓取预算里先看到谁、多久回来看一次。
sitemap 在蜘蛛池里承担什么
- 补充发现：入口页还没被收录、站内互链又不够深时，sitemap 是一条备用线索。
- 提示更新：URL 的 lastmod 发生变化，相当于告诉蜘蛛这个地址的内容动过了。
- 覆盖统计：把 sitemap 里的地址与实际被抓取、被索引的数量做对比，能大致看出抓取转化率。
先守住硬性门槛
- 单个 sitemap 文件最多 50,000 条 URL，未压缩体积不超过 50MB。
- 同一个 sitemap 文件里的 URL 必须属于同一主机，协议、域名、端口任一不同就算不同主机，子域名也要单独拆开。
- sitemap 索引文件最多容纳 500 个 sitemap，而且索引文件不能再套索引文件。
- 文件需为 UTF-8 编码，地址中的 &、尖括号等字符要做转义。
- 只放当前可被抓取的规范地址，也就是能正常返回 200 的那些。
分片思路：按用途切，别一股脑塞
- 入口页单独一份：数量不多、更新相对频繁，lastmod 跟着实际维护节奏走。
- 目标页相关地址谨慎放进：确认需要曝光时再列，不要把全部目标页都倒进去。
- 长尾地址按特征或时间分片：单文件控制在几千条，出问题容易定位。
- 用索引文件汇总：把上面几份 sitemap 挂到一个索引里，再交给 robots.txt 或后台。
提交路径怎么走
最基础的是在 robots.txt 里写 Sitemap 指令，地址要写完整的绝对 URL，可以写多条。搜索引擎后台提交适合用来观察收录数据，两者可以并存，并不冲突。过去常用的 ping 接口大多已经停用，不要把提交这件事停留在 ping 上。
常见配置错误
- 把被 robots.txt 屏蔽或带 noindex 的地址写进 sitemap，前后自相矛盾。
- 放 301、302 跳转地址，或者已经 404 的地址。
- 在 priority 和 changefreq 上精雕细琢，而主流搜索引擎基本不看这两项。
- 把 sitemap 当成同质页面倾倒场，几万条几乎一样的入口页，蜘蛛抓几页就失去兴趣。
- 索引文件里再套索引文件，超出层级限制。
- 页面内容没变却频繁改 lastmod，重复几次之后可信度会下降。
怎么判断它有没有起作用
看两处就够了：一是服务器日志里搜索引擎对 sitemap 文件的请求频次和时间分布；二是把 sitemap 收录的地址与日志中实际被抓取的地址做比对，算一个“曝光后被抓取”的比例。如果 sitemap 被反复拉取，但抓取量没有变化，问题多半出在页面本身或链接结构上，而不是提交方式。
提醒一句：sitemap 解决的是“知不知道”，不解决“愿不愿意抓”。入口页质量、跳转层设计和站内互链仍然是主要变量。
一点实操建议
把 sitemap 当成一份需要定期维护的清单：新增入口页时同步更新，下线入口页时同步移除，别让清单越积越长却和实际资源脱节。分片时留出余量，不要卡在五万条上限附近临时拆。对规模不大的蜘蛛池来说，一个入口页 sitemap 加一个索引文件，通常已经够用。