入口页批量上线之后，搜索引擎并不一定知道它们存在。站内链接、外链以及蜘蛛自身的爬行是主要发现渠道，Sitemap 和主动推送接口则是另外两条更正式的通道。它们的作用是把 URL 清单直接交到搜索引擎面前，省掉一部分靠链接逐层爬行的过程。

Sitemap 能做什么，不能做什么

Sitemap 的本质是一份 URL 清单加少量元信息。它说明哪些页面存在、大致什么时候更新过，但提交之后是否抓取、抓取多少、是否收录，仍由搜索引擎自行决定。把 Sitemap 当成收录开关，是常见的预期偏差。

对蜘蛛池来说，入口页数量大、创建集中、内容同质度高，Sitemap 的价值主要在于批量暴露 URL，降低蜘蛛发现单个页面的成本。但同质度过高的清单也容易被降权处理，所以清单的准确性比条数更重要。

入口页的 Sitemap 怎么组织

• 分片：单文件控制在几万条以内（常见约定是 5 万条、50MB 未压缩），超出就拆成多个文件。
• 索引文件：用 sitemap index 把分片串起来，只提交索引地址，不必逐个提交。
• 只放正常返回的 URL：返回 404、410 或跳转的地址不要放进去，既浪费抓取机会，也削弱清单可信度。
• lastmod 写真实时间：如果每次生成都刷新成当天，这个字段很快会被忽略。
• 别混入目标站 URL：入口页和目标站的清单建议分开，混在一起会让归属关系变模糊。
• URL 保持稳定：同一页面不要一会儿带参数、一会儿不带，参数版本容易造成重复。

主动推送：配额有限，用在新增和变更上

百度普通收录 API、必应 IndexNow 等都提供主动提交接口。相比 Sitemap 的被动等待，推送的反馈通常更快，但配额有限。

• 只推新增页面和内容有明显变化的页面，不要每天把全量清单推一遍。
• 记录每次推送的返回结果，失败的部分单独重试，而不是整批重推。
• 配额不足时按优先级排序，先推结构完整、质量相对较好的入口页。
• 推送和 Sitemap 不是替代关系，两者并行更稳妥。

提交节奏怎么定

比较省事的做法是固定一个日频任务：扫描当天新增或变更的入口页，更新 Sitemap 分片，再对增量部分做一次推送。批量上线当天可以单独推一次全量，之后转入增量维护。

节奏不是越密越好。如果日志里显示 Sitemap 文件本身被频繁抓取，但入口页的抓取量没有变化，说明瓶颈不在提交频率，而在页面质量或配额分配上。这时候继续加频次只会增加无效请求。

几个常见的坑

• 把 Sitemap 当待办清单，天天全量重推。
• lastmod 写的是文件生成时间，而不是内容更新时间。
• 清单里混入死链、跳转地址和目标站链接。
• 名单很长，但入口页实际打不开或首屏空白。
• 认为提交之后就会在预期时间内被收录。

先让清单准确，再谈提交频率。一份小而准的 Sitemap，通常比一份大而杂的清单更有用。

一个简单的检查顺序

1. 随机抽 20 条 URL，确认返回码、可访问性与页面内容一致。
2. 检查 lastmod 是否反映真实更新。
3. 确认分片大小和索引文件可用。
4. 对新增部分做一次增量推送，记录返回结果。
5. 过几天回看日志里 Sitemap 与入口页的抓取情况，再决定是否调整节奏。

蜘蛛池本身只负责让 URL 更容易被发现，Sitemap 和主动推送是这条链路上的辅助手段。把清单维护准确、节奏保持稳定，比反复调整接口参数更值得投入。