做蜘蛛池时，一個常见分歧是：入口頁铺上去之後，是寫一份 sitemap 等蜘蛛按图索骥，還是用搜尋引擎提供的推送接口主動提交。两種做法不冲突，但解决的問题不一样，混着用容易把节奏搞乱。
sitemap 更像地图，不是催促
sitemap 的價值是告诉蜘蛛“這里有哪些 URL 值得看”，它並不保證抓取時間。對蜘蛛池来说，入口頁數量多、结构相似，一份 sitemap 至少要保證里面的 URL 可訪問：狀態碼正常、不是死鏈、不靠跳轉、不需要登入或驗證。
- sitemap 里放入口頁，也可以放少量有内容的中間頁；
- 不要把同一批參數變体全部塞進去，參數 URL 容易分散抓取；
- sitemap 文件本身要能被抓到，路径尽量固定，別频繁換位置。
如果 sitemap 里混入大量打不開的地址，蜘蛛来過几次之後，對整份文件的信任度會下降，後面真正需要被發現的入口頁也會受影响。
推送接口解决的是“新 URL 被發現得慢”
推送接口适合刚上线的入口頁，能让搜尋引擎更快知道這些 URL 存在。但它同样不等于收錄。推送之後蜘蛛可能只来一次，抓完就走，是否留下取决于頁面本身有没有可讀内容、能不能正常打開。
常见的誤区有两個：一是把推送当收錄開關，一天推几千條同模板頁面；二是推送的 URL 和實际可訪問的 URL 不一致，比如带了一串參數、中途有跳轉、或者頁面需要驗證才能看到。這两種做法都會消耗推送額度，却換不来看得见的抓取。
入口頁規模大时，推送要和抓取预算一起看
如果一次上几千個入口頁，全量推送反而會让蜘蛛在一個批次里集中抓取，服務器压力變大，质量差的頁面也會被更快识別出来。更稳妥的做法是分批：
- 先推一批结构清晰、内容相對完整的入口頁；
- 观察日誌里蜘蛛的抓取量、狀態碼分布和停留情况；
- 稳定之後，再补下一批，而不是一次推完。
另外，尽量避免在同一時間段既全量推送、又改 sitemap、又換模板。一旦出問题，很难判断是哪個動作引起的。
哪些入口頁不值得推
- 只有占位文字、正文和标题無關的空壳頁；
- 返回跳轉或错誤狀態的頁面；
- 需要 JS 渲染才有内容、但蜘蛛拿不到渲染结果的頁面；
- 同一套模板複製出来，只換了域名和關鍵詞的頁面。
這些頁面放進 sitemap 同样會浪費抓取资源。與其硬推，不如先补内容或修狀態碼。
推送之外，別忘了内鏈和外部入口
推送和 sitemap 都是“主動告知”，而蜘蛛真正习惯的還是跟連結走。入口頁之間如果完全孤立，只靠推送，蜘蛛拿到的爬取路径就是断的。适当的導航、分類頁、相關推荐連結，能让蜘蛛顺着連結繼續走，也方便它在一個站内找到更多入口頁。
推送和 sitemap 只影响“發現”，不影响“评估”。入口頁能不能留下来，還是看頁面本身有没有可讀内容、能不能正常訪問。
一個简單的执行顺序
- 入口頁上线後先检查狀態碼、内容和协议配置；
- 生成 sitemap，路径固定，只放可訪問的 URL；
- 對新入口頁做小批量推送，观察几天日誌；
- 根據實际抓取情况决定下一批推送量；
- 入口頁之間补上必要的連結關系，別让頁面孤立。
不用追求“全部推完”。發現得快一点，不等于留下来多一点。