蜘蛛池里生成了几千個入口頁，第一道坎不是頁面质量，而是蜘蛛压根不知道這些 URL 存在。URL 發現和 URL 抓取是两件事：前者决定蜘蛛會不會来，後者决定来了之後怎么走。把這两件事分開看，很多操作上的纠结會清楚一些。
站内連結：最基础，也是唯一能持續带路的通道
sitemap 和推送解决的是“第一次知道”，站内連結解决的是“一直找得到”。蜘蛛進入任何一個入口頁之後，能不能顺着連結走到池子里的其他頁面，取决于頁面之間的连接结构。
- 入口頁之間至少要有互相可達的路径，不要全部指向首頁，也不要全部指回自己。
- 每個頁面往外輸出的連結數量要控制，几十個以内比較稳。几百個連結的頁面，蜘蛛會挑着走，剩下的可能连看都不看。
- 尽量用普通 a 标簽，脚本注入的連結、按钮跳轉、需要点击才展開的列表，蜘蛛不一定执行。
如果池子里每個頁面都是孤岛，只靠 sitemap 和推送，蜘蛛拿到的就是一批互相没有關系的 URL，爬完就走，很难形成持續抓取。
sitemap：批量，但不保證被處理
sitemap 的優势是量，几百上千條 URL 一次交出去，成本最低。但它只是“声明有這么些頁面”，是否讀取、多久讀一次、一次讀多少條，由搜尋引擎自己决定。
- 單個 sitemap 建议不超過 5 萬條，超過就拆分，並用 sitemap 索引文件串起来。
- 只放你希望被索引的、狀態正常的頁面。404、重复頁、參數頁放進去，只會消耗讀取額度。
- lastmod 要真實。每次生成都刷新時間戳，等于告诉蜘蛛“全都變了”，几次之後這個字段就不被信任了。
sitemap 的位置和声明方式要保持一致，robots.txt 里的 Sitemap 行和各站長平台的提交入口都別漏，也不要只提交一個平台就当全通了。
主動推送接口：适合刚上线、數量不大的頁面
部分搜尋引擎提供 API 推送，比如百度普通收錄的推送接口、被 Bing 與 Yandex 等采用的 IndexNow 协议。這類通道反馈快，但通常有配額，且更适合“新产出或刚更新”的 URL。
所以推送的用法應该是：池子新上一批入口頁时，挑其中结构完整、内容站得住的那部分推一批，观察抓取和後續表現，而不是把全部 URL 一次性灌進去。推送額度是稀缺资源，用在最需要被看见的頁面上。
把提交量当成抓取量，是這類操作里最常见的偏差。提交的只是可能性，抓取才是结果。
三條通道怎么配合
- 先修站内連結，保證蜘蛛進来之後有路可走。這一步没做好，後面两個通道的效果都會打折。
- 再用 sitemap 兜底，把連結结构覆盖不到、层級較深的頁面交出去。
- 最後用推送补新，只针對刚上线、需要快速被知道的一小批 URL。
几個容易踩的誤区
- URL 带一堆參數：同一個頁面生成出多種參數版本，蜘蛛會当成不同頁面，抓取预算被摊薄。
- 提交了却不看日誌：推送之後没有任何訪問反馈，說明 URL 没被處理，這时候繼續加量没有意义。
- 所有頁面同等對待：入口頁也分主次，把推送和連結權重集中在少數頁面上，比平均撒開更容易看到變化。
URL 發現這件事没有太多技巧，核心是让蜘蛛用最低的成本找到最多的有效頁面。站内連結打底、sitemap 兜底、推送补新，三條通道各司其职，通常比在單一通道上不断加量更靠谱。