先把 sitemap 的角色摆正

搭建蜘蛛池时，不少人会把 sitemap 当成一个万能的提交入口，觉得把 URL 写进文件就等于通知了搜索引擎。实际它只做一件事：提供一份 URL 候选清单。抓不抓、抓几次、抓完是否保留，仍然由对方决定。想清楚这一点，后面所有取舍都会变得简单。

也就是说，sitemap 解决的是发现，不解决信任和质量。入口页如果本身打不开、内容单薄、和目标站毫无关联，文件写得再规范也不会改变结果。

什么情况下值得给入口页配 sitemap

• 入口页数量较多，散落在不同目录层级，靠首页或列表页不容易爬到；
• 入口页由程序动态生成，URL 规则统一，但站内缺少清晰的导航路径；
• 你有稳定的更新节奏，需要让爬虫区隔出“这批是新的”；
• 入口页与目标 URL 的对应关系需要长期维护，用一份文件统一管理比人工记账省事。

反过来，如果入口页只有几十条，站内已经有正常的列表页和分页导航，sitemap 的边际作用很小。这时候把精力放在链接层级和页面可访问性上，回报更直接。

入口页与目标 URL 分几层放

这是最容易被搞混的地方，常见有两种做法。

1. 只放入口页。文件里全是蜘蛛池自己的入口页，目标站 URL 靠页面上的链接自然传出去。结构干净，责任边界清楚。
2. 两类混放。把要推广的目标 URL 也塞进同一份文件，等于把目标站的地图一并交出去。一旦某个批次被判定异常，牵连范围会明显变大。

如果确实要在同一套资源里处理两类 URL，至少拆成不同的文件，分别观察日志表现，不要混在一起做整体判断。

几个容易忽略的配置细节

• 域名与协议保持一致。文件里写 http、实际页面是 https，或者带 www 与不带 www 混用，都会让爬虫多花一轮校验时间。
• lastmod 不要随手刷新。每次生成都写成当前时间，等于告诉对方“所有页面每天都在变”，很快就没人当回事了。
• 分片与索引要对应。超过单文件容量上限就拆分，并用索引文件串起来，各片路径规则保持统一。
• 别把文件藏起来。在 robots 里声明地址，或者放在站点根目录，是成本最低的做法。
• 自身访问要稳定。sitemap 经常 404 或超时，会直接拖累入口页的抓取节奏。

常见误区

把 sitemap 当成“提交量”，一口气塞进几十万条 URL，是目前最普遍的误操作。

• 以为提交就等于抓取，忽略了抓取量取决于对方的资源分配和页面质量；
• 把 sitemap 当提速工具，短时间内大批量新增，反而容易被节流；
• 不去管文件本身能否稳定访问，却一直在纠结页面细节；
• 文件里长期保留已经失效的入口页，从不清理。

落地建议

比较稳妥的顺序是：先把入口页做成能正常访问的页面，确保站内有一条爬虫走得通的路径；确认日志里能看到稳定访问之后，再考虑用 sitemap 补充发现渠道。

节奏上建议分批增加，每批上线后观察两到三天的抓取情况，再决定下一批规模。数量增长和抓取反馈之间保持可对比的关系，出问题时才知道是哪一步引起的。

最后提醒一句，sitemap 是辅助手段，不是保证。真正影响入口页表现的，仍然是页面能否正常打开、内容是否说得通，以及整批资源的整体状态。