做 URL 發現时，很容易把“提交得多”当成“收錄得快”。實际操作里，提交只是把 URL 放進發現鏈路，後面還有排队、抓取、解析、索引几道环节。如果發現量突然超過站点的抓取承受能力，重要頁面的抓取反而會被推迟。
發現、排队、抓取是三件事
搜尋引擎發現 URL 的入口很多：HTML 内鏈、導航、sitemap、站内搜尋、外鏈、日誌回捞等。發現之後，URL 會進入待抓取队列。队列不是先到先得，搜尋引擎會结合頁面重要性、更新频率、站点歷史抓取表現、服務器响應速度等因素安排顺序。
所以“已發現但未抓取”是常见狀態，不等于頁面有問题。真正要關注的是：重要頁面有没有被排在前面，服務器有没有拖慢抓取。
批量提交為什么會造成积压
一次性提交大量 URL，尤其是低價值頁面，會占用待抓取队列的位置。常见来源包括：
- 篩選參數生成的组合頁，内容高度相似；
- 分頁過深的归档頁、标簽頁、日期頁；
- 站内搜尋结果的 URL 被外部連結或 sitemap 暴露；
- 同一篇内容带不同跟踪參數的多個地址；
- 歷史遗留的失效 URL 被反复提交。
這些 URL 不是不能存在，而是不适合和核心詳情頁抢抓取机會。發現量越大，队列越拥挤，核心頁面的抓取間隔就可能被拉長。
抓取预算不是固定值
抓取预算更像一個動態額度，受站点規模、更新频率、頁面质量、服務器响應、错誤率等影响。服務器频繁超时或返回 5xx，會让搜尋引擎降低抓取速度；頁面長期不變，抓取频次也會下降。
因此，想让新頁面更快被抓，先保證服務器稳定、重要頁面能快速打開，再谈提交量。否則提交越多，只是把队列撑得更大。
按優先級安排提交
- 先分层：把 URL 分成核心詳情頁、栏目頁、列表/分頁、參數頁、歷史归档几類，明确哪些必须優先抓取。
- 再分批：新站或改版後不要一次全量推送，按目錄或按批次提交，观察抓取反馈再放下一批。
- sitemap 分片：按内容類型拆分 sitemap，lastmod 寫真實更新時間，避免把所有 URL 塞進一個文件。
- 控制内鏈入口：重要頁面從首頁、栏目頁、相關推荐获得入口；低價值頁面不要全站铺内鏈。
- 日誌核對：看蜘蛛實际抓了哪些 URL、返回碼和响應時間，驗證提交策略是否有效。
该观察哪些指标
- 核心目錄的抓取频次和占比是否上升；
- 平均响應時間和 5xx、超时次數是否下降；
- “已發現未抓取”的數量變化，是短期波動還是持續增長；
- 新發布頁面從提交到首次抓取的時間；
- 抓取到的 URL 中，低價值頁面占比是否過高。
提交量只是發現入口的輸入，不是收錄结果。把队列留给重要頁面，比追求提交數量更實际。
常见誤判
看到“已發現未抓取”增多，不一定代表被惩罚；可能是提交量突然變大。看到抓取频次下降，也不一定是站点降權；先查服務器响應和错誤率。反過来，抓取频次高也不代表收錄好，抓取只是中間過程。
比較稳妥的做法是：固定一個观察周期，记錄核心頁面的抓取和索引變化，再調整提交节奏。不要因為一两天波動就全量重推，也不要把所有 URL 都当作同優先級處理。