做蜘蛛池的人大多把精力放在入口頁和連結结构上，sitemap 和主動推送常常被当成顺手加一下的東西。其實這两样解决的是同一個問题：让蜘蛛不必只靠爬連結来發現 URL。用得好能省下抓取预算，用得不好只是多了一份没人看的地图。

sitemap 在蜘蛛池里的作用與邊界

sitemap 的本质是一份告诉搜尋引擎這里有哪些 URL 的清單。它不保證被讀取，更不保證被訪問，但它是少數几種不依赖蜘蛛爬到某個頁面就能被發現的通道。

• 對入口站：把入口頁、列表頁集中列出，减少蜘蛛在導航里反复摸索的消耗。
• 對目标頁：如果目标頁在同一批可驗證的站点下，可以按分组提交；跨站点的清單通常會被忽略。
• 對更新：lastmod 只作為參考，寫假時間反而會让整份文件的可信度打折。

需要分清的是，sitemap 属于發現层的工具，不是抓取层的開關。蜘蛛讀到清單之後抓不抓、抓多少，仍然由它自己的判断决定。

池子的 sitemap 该放什么

建议放進去的

• 狀態長期稳定、结构完整的入口頁；
• 數量可控、层級清晰的列表或聚合頁；
• 近期确實更新過的頁面。

不建议放進去的

• 大量參數拼接、内容几乎一致的地址；
• 返回 404、500 或需要登入才能打開的路由；
• 已经决定淘汰、只是暂时保留的舊入口。

一份 sitemap 里塞進几千條重复度极高的地址，最直接的结果是蜘蛛對整份文件的信任度下降，连本来有價值的入口也一起被拖着走。

主動推送接口怎么用

搜尋引擎提供的主動推送接口，本质是把 sitemap 從等它来取變成送上门。它有配額限制，也有調用频率限制，所以更适合按节奏推進，而不是一次性倾倒。

1. 先小批量试推，观察返回的成功條數，以及後續抓取日誌里是否出現對應记錄；
2. 再按入口優先級分批推送，把配額留给真正需要被發現的地址；
3. 推送之後不要立刻改地址或改内容，给這些入口一個相對稳定的窗口。

推送成功只代表接口收下了這條地址，和蜘蛛上门是两件事。把它当作加快排队的手段，而不是直達的通道。

常见的几個誤区

• 以為提交就完事：sitemap 提交後長期不更新，里面的地址已经失效，蜘蛛取几次之後可能降低取用频率。
• 到處都放同一份清單：把 A 站的 sitemap 放到 B 站，跨域地址基本不會被采纳。
• 靠推送量堆效果：配額被低價值地址占满，真正需要發現的入口反而排不上队。
• 忽略 robots 與狀態碼：清單里列着，但 robots 禁止抓取或頁面返回 404，等于自己制造矛盾信号。

把 sitemap、推送與日誌對起来看

判断這條通道有没有走通，不看提交结果，看日誌。做法很简單：记下推送或提交的時間点與 URL 列表，然後在訪問日誌里找同一批地址是否出現、間隔多久出現、狀態碼是什么。如果连續几次提交後日誌里毫無動静，先检查 robots、狀態碼和域名归属，再考虑是不是把配額浪費在了低质量地址上。

對蜘蛛池来说，sitemap 和主動推送不是主力通道，更像给已经跑顺的連結结构加一层保險。鏈路本身有問题时，补這份清單不會让抓取變好；鏈路顺畅时，它能帮你把有限的抓取額度花在更值得的地址上。