蜘蛛池的入口頁能不能被尽早發現，很大程度上取决于你有没有给蜘蛛留一條明确的路。站点地图（sitemap）和主動推送是這類路径里成本最低的两條：前者把 URL 集中摆在一個固定位置，後者直接把 URL 递到搜尋引擎的入口。两者都不保證收錄，也不保證立刻抓取，但能明顯减少蜘蛛只能靠外鏈一点点爬、甚至完全找不到的情况。
sitemap：把入口 URL 集中交出去
sitemap 的價值在于确定性。蜘蛛不需要猜你的 URL 结构，只要定期来取這個文件即可。落地时注意几点：
- 單文件通常不超過 5 萬條 URL、未压缩体积控制在 50MB 以内，超出就用 sitemapindex 分片；
- 只放你希望被訪問的頁面，狀態碼正常、内容可讀的入口頁才值得寫進去；
- lastmod 寫真實的内容更新時間。乱填一個每天變化的時間戳，短期看似积极，長期會让這個字段失去參考意义；
- 把 sitemap 地址寫進 robots.txt 的 Sitemap 行，位置放在文件靠前的部分，方便蜘蛛顺路讀取。
如果入口頁是多套模板、多個域名，可以按域名或按模板分片，出問题时也方便定位是哪一批 URL 拖慢了整体表現。
主動推送：比 sitemap 再快一步
主動推送相当于不等蜘蛛来取，直接把 URL 送過去。常见渠道有几類，實际使用中的差別主要体現在配額和生效节奏上：
- 搜尋资源平台類接口：通常按天给配額，适合把当天新增或更新的入口頁小批量提交；
- IndexNow 類协议：一次提交可以覆盖多個參與的引擎，接入成本低，适合自動化脚本調用；
- 站長後台手動提交：量小但可控，适合驗證某個 URL 是否真的能被抓取。
無论用哪種，都建议先把少量 URL 提交出去，观察日誌里蜘蛛的到訪情况，再决定是否放大批量。一上来就推几萬條，很容易把配額浪費在還没准备好的頁面上。
提交时该避開哪些頁面
- 狀態碼為 404、410 的頁面；
- 會跳轉到其他地址的中間頁；
- 带大量無意义參數的列表頁和篩選頁；
- 内容几乎相同的模板頁，重复提交只會互相稀释。
推送只是把 URL 放進候選队列，抓不抓、什么时候抓，仍然取决于站点当时的狀態和蜘蛛自己的調度。
一個可以照着走的顺序
- 先確認入口頁本身能正常打開，返回 200，正文可讀；
- 生成 sitemap，按域名或模板分片，並在 robots.txt 里声明；
- 挑十几條代表性 URL 走一次主動推送；
- 過几天回看日誌，確認蜘蛛是否按 sitemap 或推送记錄来抓；
- 抓取正常後再逐步扩大推送量，同时保持 sitemap 的更新。
几個常见的誤区
- 把提交当成收錄，提交完就不管頁面质量；
- 每天把全站 URL 重复推一遍，占满配額；
- 在 sitemap 里混入外鏈站或無關頁面；
- 只看推送返回成功，不看後續日誌里的實际抓取。
把 sitemap 当作長期的基础设施，把主動推送当作阶段性的加速手段，两者配合使用，再结合日誌反馈調整节奏，通常比單纯堆入口頁數量更稳妥。