做蜘蛛池的人大多把精力放在入口页和链接结构上，sitemap 和主动推送常常被当成顺手加一下的东西。其实这两样解决的是同一个问题：让蜘蛛不必只靠爬链接来发现 URL。用得好能省下抓取预算，用得不好只是多了一份没人看的地图。

sitemap 在蜘蛛池里的作用与边界

sitemap 的本质是一份告诉搜索引擎这里有哪些 URL 的清单。它不保证被读取，更不保证被访问，但它是少数几种不依赖蜘蛛爬到某个页面就能被发现的通道。

• 对入口站：把入口页、列表页集中列出，减少蜘蛛在导航里反复摸索的消耗。
• 对目标页：如果目标页在同一批可验证的站点下，可以按分组提交；跨站点的清单通常会被忽略。
• 对更新：lastmod 只作为参考，写假时间反而会让整份文件的可信度打折。

需要分清的是，sitemap 属于发现层的工具，不是抓取层的开关。蜘蛛读到清单之后抓不抓、抓多少，仍然由它自己的判断决定。

池子的 sitemap 该放什么

建议放进去的

• 状态长期稳定、结构完整的入口页；
• 数量可控、层级清晰的列表或聚合页；
• 近期确实更新过的页面。

不建议放进去的

• 大量参数拼接、内容几乎一致的地址；
• 返回 404、500 或需要登录才能打开的路由；
• 已经决定淘汰、只是暂时保留的旧入口。

一份 sitemap 里塞进几千条重复度极高的地址，最直接的结果是蜘蛛对整份文件的信任度下降，连本来有价值的入口也一起被拖着走。

主动推送接口怎么用

搜索引擎提供的主动推送接口，本质是把 sitemap 从等它来取变成送上门。它有配额限制，也有调用频率限制，所以更适合按节奏推进，而不是一次性倾倒。

1. 先小批量试推，观察返回的成功条数，以及后续抓取日志里是否出现对应记录；
2. 再按入口优先级分批推送，把配额留给真正需要被发现的地址；
3. 推送之后不要立刻改地址或改内容，给这些入口一个相对稳定的窗口。

推送成功只代表接口收下了这条地址，和蜘蛛上门是两件事。把它当作加快排队的手段，而不是直达的通道。

常见的几个误区

• 以为提交就完事：sitemap 提交后长期不更新，里面的地址已经失效，蜘蛛取几次之后可能降低取用频率。
• 到处都放同一份清单：把 A 站的 sitemap 放到 B 站，跨域地址基本不会被采纳。
• 靠推送量堆效果：配额被低价值地址占满，真正需要发现的入口反而排不上队。
• 忽略 robots 与状态码：清单里列着，但 robots 禁止抓取或页面返回 404，等于自己制造矛盾信号。

把 sitemap、推送与日志对起来看

判断这条通道有没有走通，不看提交结果，看日志。做法很简单：记下推送或提交的时间点与 URL 列表，然后在访问日志里找同一批地址是否出现、间隔多久出现、状态码是什么。如果连续几次提交后日志里毫无动静，先检查 robots、状态码和域名归属，再考虑是不是把配额浪费在了低质量地址上。

对蜘蛛池来说，sitemap 和主动推送不是主力通道，更像给已经跑顺的链接结构加一层保险。链路本身有问题时，补这份清单不会让抓取变好；链路顺畅时，它能帮你把有限的抓取额度花在更值得的地址上。