很多人在搭好蜘蛛池之後，會把注意力全放在入口頁上，觉得只要頁面铺够了，蜘蛛自然會来。但入口頁解决的是"给蜘蛛一條能爬的路"，它本身並不會主動告诉搜尋引擎"我這里多了新 URL"。真正承担告知動作的，通常是 sitemap 和主動推送這两條通道。
這三者的定位不一样，混着用或者只用一條，日誌里看到的抓取结构往往和预期差很多。
先分清三條通道各自在做什么
- 入口頁與内鏈：把 URL 放進一個蜘蛛可以顺着爬到的位置，属于被動發現，依赖對方自身的調度节奏。
- sitemap：批量声明一批 URL，告诉搜尋引擎這些地址存在，但抓不抓、什么时候抓由對方决定。
- 主動推送（API、JS 推送等）：把單個 URL 即时提交，时效性通常好于 sitemap，但一般有每日配額。
- 外部連結：由第三方頁面引荐，可信度權重往往更高，但可控性最差。
理解這四点之後，選擇就清楚多了：入口頁负责铺量，sitemap 负责批量兜底，主動推送负责處理时效要求高的少數 URL。
蜘蛛池场景下 sitemap 怎么寫更合理
先想清楚 sitemap 里放什么。一個常见做法是只放入口頁，让蜘蛛從入口頁顺着内鏈爬到目标頁；另一種是把入口頁和目标頁都寫進去。
前者更贴近蜘蛛池的设計初衷——通過入口頁控制爬取路径和节奏；後者看起来省事，但如果目标頁本身质量一般，把大量 URL 直接暴露在 sitemap 里，反而可能让抓取预算被分散。
几個细节容易被忽略：
- sitemap 有單文件和條數上限，超過就分片，並在索引文件里互相引用。
- lastmod 不要随便寫目前時間。如果每次生成都刷新，搜尋引擎會逐渐不信任這個字段。
- 已经下线或返回 404 的入口頁，及时從 sitemap 里移除，別让蜘蛛反复来扑空。
- sitemap 地址放在 robots.txt 里声明，方便對方發現。
主動推送适合推什么
主動推送的價值在时效，但它通常有配額限制，所以更适合用在少數關键 URL 上：
- 新上线的入口頁，尤其是准备重点观察抓取反應的批次。
- 需要尽快被看到的目标頁，比如活動頁、时效性内容。
- 調整過連結结构、希望重新触發抓取的老頁面。
不太建议把配額均匀撒在几千個長尾入口頁上。數量一多，單條的推送效果會被稀释，日誌里也很难判断是哪條通道起了作用。
另外，如果入口頁本身是给蜘蛛看的中轉頁，推送它和推送最终目标頁，得到的反馈可能完全不同。最好在測試批次里分別驗證，而不是凭感觉全推。
几個常见的搭配誤区
- 提交了就一定會被收錄——提交只影响發現环节，抓取和收錄是後面的事，中間還有质量判断、去重、预算分配等环节。
- 在 sitemap 里塞進几十萬條 URL——數量本身不带来抓取，反而让重要的 URL 被淹没。
- 推送的 URL 和入口頁内容對不上——比如推送的是一個跳轉連結，落地却是空白頁或 404，這類信号會被记下来。
- 三條通道互相打架——入口頁已经能爬到，sitemap 里又重复声明，推送再發一遍。重复不算致命問题，但會让日誌分析變得混乱，难以归因。
一份可以落地的分工建议
如果不想折腾太多，可以按下面的层次来：
- 入口頁：全部通過内鏈串起来，保證從任意一個入口頁出發都能到達目标頁，层級不要堆太深。
- sitemap：只放入口頁，按批次分片，保持 lastmod 稳定，定期清理失效地址。
- 主動推送：只推当批次的重点入口頁和少數时效性目标頁，用完配額就停。
- 观察驗證：過一段時間翻服務器日誌，看蜘蛛是顺着内鏈来的，還是從 sitemap、推送通道来的，再决定下一批资源往哪投。
這套做法的好處是每條通道的作用都能在日誌里對上号。如果混在一起，出了問题往往只能靠猜。
入口頁、sitemap 和主動推送都是让 URL 被看见的手段，不构成收錄或排名的保證。把资源集中在能驗證的通道上，比盲目加量更有意义。