入口頁批量上线之後，搜尋引擎並不一定知道它們存在。站内連結、外鏈以及蜘蛛自身的爬行是主要發現渠道，Sitemap 和主動推送接口則是另外两條更正式的通道。它們的作用是把 URL 清單直接交到搜尋引擎面前，省掉一部分靠連結逐层爬行的過程。

Sitemap 能做什么，不能做什么

Sitemap 的本质是一份 URL 清單加少量元信息。它說明哪些頁面存在、大致什么时候更新過，但提交之後是否抓取、抓取多少、是否收錄，仍由搜尋引擎自行决定。把 Sitemap 当成收錄開關，是常见的预期偏差。

對蜘蛛池来说，入口頁數量大、建立集中、内容同质度高，Sitemap 的價值主要在于批量暴露 URL，降低蜘蛛發現單個頁面的成本。但同质度過高的清單也容易被降權處理，所以清單的准确性比條數更重要。

入口頁的 Sitemap 怎么组织

• 分片：單文件控制在几萬條以内（常见约定是 5 萬條、50MB 未压缩），超出就拆成多個文件。
• 索引文件：用 sitemap index 把分片串起来，只提交索引地址，不必逐個提交。
• 只放正常返回的 URL：返回 404、410 或跳轉的地址不要放進去，既浪費抓取机會，也削弱清單可信度。
• lastmod 寫真實時間：如果每次生成都刷新成当天，這個字段很快會被忽略。
• 別混入目标站 URL：入口頁和目标站的清單建议分開，混在一起會让归属關系變模糊。
• URL 保持稳定：同一頁面不要一會儿带參數、一會儿不带，參數版本容易造成重复。

主動推送：配額有限，用在新增和變更上

百度普通收錄 API、必應 IndexNow 等都提供主動提交接口。相比 Sitemap 的被動等待，推送的反馈通常更快，但配額有限。

• 只推新增頁面和内容有明顯變化的頁面，不要每天把全量清單推一遍。
• 记錄每次推送的返回结果，失敗的部分單獨重试，而不是整批重推。
• 配額不足时按優先級排序，先推结构完整、质量相對較好的入口頁。
• 推送和 Sitemap 不是替代關系，两者並行更稳妥。

提交节奏怎么定

比較省事的做法是固定一個日频任務：掃描当天新增或變更的入口頁，更新 Sitemap 分片，再對增量部分做一次推送。批量上线当天可以單獨推一次全量，之後轉入增量维護。

节奏不是越密越好。如果日誌里顯示 Sitemap 文件本身被频繁抓取，但入口頁的抓取量没有變化，說明瓶颈不在提交频率，而在頁面质量或配額分配上。這时候繼續加频次只會增加無效請求。

几個常见的坑

• 把 Sitemap 当待办清單，天天全量重推。
• lastmod 寫的是文件生成時間，而不是内容更新時間。
• 清單里混入死鏈、跳轉地址和目标站連結。
• 名單很長，但入口頁實际打不開或首屏空白。
• 認為提交之後就會在预期時間内被收錄。

先让清單准确，再谈提交频率。一份小而准的 Sitemap，通常比一份大而杂的清單更有用。

一個简單的检查顺序

1. 随机抽 20 條 URL，確認返回碼、可訪問性與頁面内容一致。
2. 检查 lastmod 是否反映真實更新。
3. 確認分片大小和索引文件可用。
4. 對新增部分做一次增量推送，记錄返回结果。
5. 過几天回看日誌里 Sitemap 與入口頁的抓取情况，再决定是否調整节奏。

蜘蛛池本身只负责让 URL 更容易被發現，Sitemap 和主動推送是這條鏈路上的辅助手段。把清單维護准确、节奏保持稳定，比反复調整接口參數更值得投入。