蜘蛛池的核心是让入口頁被尽可能多的搜尋蜘蛛發現，而 sitemap 是最容易被忽略的一條通道。它不直接决定抓取结果，但會影响蜘蛛發現 URL 的效率，尤其是新上线的入口頁。
先想清楚：入口頁需要被發現的是什么
入口頁本身通常内容不厚，價值在于它指向目标頁的連結。所以 sitemap 要解决的問题只有一個：让蜘蛛尽快拿到這批入口 URL，而不是靠外鏈或首頁慢慢爬。
如果入口頁已经能從其他被抓取的頁面自然到達，sitemap 的邊际作用就比較有限；如果入口頁是孤立的、外鏈少、层級深，提交的價值會明顯一些。
提交和被動發現有什么差別
被動發現
依赖已有頁面上的連結，以及蜘蛛自己的調度。好處是不用額外维護，坏處是發現時間不可控，尤其是入口頁批量上线时。
主動提交
通過 sitemap 文件、搜尋引擎站長平台提交，以及部分平台支持的即时推送接口，把 URL 直接告知。需要注意的是：各平台對推送的支持程度、配額和响應都不同，提交只代表“我知道了”，不代表會马上抓取，更不代表會被收錄。
sitemap 的寫法要点
- 只放可正常返回 200 的 URL，不要放 3xx 跳轉地址、404 或需要登入才能訪問的頁面。
- 單文件 URL 數量控制在平台建议范围内，超過就拆分成多個文件，並用索引文件匯總。
- lastmod 要真實。每次微小改動就刷新時間，容易让這個字段失去參考價值。
- URL 要和頁面里的規范連結保持一致，避免带參數和不带參數的版本混着出現。
- 在 robots.txt 里寫明 sitemap 地址，方便蜘蛛定位。
- 不要给屏蔽抓取或带 noindex 的頁面做提交，两者會互相打架。
關于即时推送
部分搜尋引擎提供 API 推送或類似机制，能绕開 sitemap 的轮询周期。使用前先確認目标平台的規則、配額，以及是否需要驗證站点归属。推送频率不要異常，短時間大量推送容易触發風控；同时推送不等于抓取，別把它当成效果保證。
常见誤区
- 把目标頁也一起塞進 sitemap。目标頁的暴露节奏應该由入口頁控制，混在一起會让整批 URL 的關系變得混乱。
- 每個域名都建一份 sitemap，却從不检查返回狀態。文件本身 404 或返回 HTML 错誤頁的情况並不少见。
- 入口頁下线後忘了從 sitemap 里移除，蜘蛛反复来抓 404 或 410，浪費抓取预算。
- 把 sitemap 当成收錄開關。它只是告知，不改變頁面质量和站点整体的可抓取性。
一份简單的执行清單
- 確認入口頁目前靠什么被發現：外鏈、已有頁面連結，還是完全没有入口。
- 整理出可返回 200 的入口 URL 列表，剔除跳轉和失效地址。
- 按數量拆分 sitemap，寫好索引文件，並在 robots.txt 中声明。
- 在站長平台提交，观察訪問日誌里蜘蛛對入口頁的抓取是否出現變化。
- 按周或按批次复查：新增入口頁及时补進去，下线入口頁及时删掉。
sitemap 和推送解决的是“蜘蛛知不知道這些 URL”，解决不了“蜘蛛愿不愿意抓、抓完愿不愿意留”。如果主站本身可抓取性差、内容重复嚴重，提交再多入口頁也难有明顯變化。
最後提醒一句：不同搜尋引擎對 sitemap 和推送的處理逻辑差异不小，實测时最好分開看日誌，別用一家平台的表現去推断另一家。