做 URL 发现时，很容易把“提交得多”当成“收录得快”。实际操作里，提交只是把 URL 放进发现链路，后面还有排队、抓取、解析、索引几道环节。如果发现量突然超过站点的抓取承受能力，重要页面的抓取反而会被推迟。
发现、排队、抓取是三件事
搜索引擎发现 URL 的入口很多：HTML 内链、导航、sitemap、站内搜索、外链、日志回捞等。发现之后，URL 会进入待抓取队列。队列不是先到先得，搜索引擎会结合页面重要性、更新频率、站点历史抓取表现、服务器响应速度等因素安排顺序。
所以“已发现但未抓取”是常见状态，不等于页面有问题。真正要关注的是：重要页面有没有被排在前面，服务器有没有拖慢抓取。
批量提交为什么会造成积压
一次性提交大量 URL，尤其是低价值页面，会占用待抓取队列的位置。常见来源包括：
- 筛选参数生成的组合页，内容高度相似；
- 分页过深的归档页、标签页、日期页；
- 站内搜索结果的 URL 被外部链接或 sitemap 暴露；
- 同一篇内容带不同跟踪参数的多个地址；
- 历史遗留的失效 URL 被反复提交。
这些 URL 不是不能存在，而是不适合和核心详情页抢抓取机会。发现量越大，队列越拥挤，核心页面的抓取间隔就可能被拉长。
抓取预算不是固定值
抓取预算更像一个动态额度，受站点规模、更新频率、页面质量、服务器响应、错误率等影响。服务器频繁超时或返回 5xx，会让搜索引擎降低抓取速度；页面长期不变，抓取频次也会下降。
因此，想让新页面更快被抓，先保证服务器稳定、重要页面能快速打开，再谈提交量。否则提交越多，只是把队列撑得更大。
按优先级安排提交
- 先分层：把 URL 分成核心详情页、栏目页、列表/分页、参数页、历史归档几类，明确哪些必须优先抓取。
- 再分批：新站或改版后不要一次全量推送，按目录或按批次提交，观察抓取反馈再放下一批。
- sitemap 分片：按内容类型拆分 sitemap，lastmod 写真实更新时间，避免把所有 URL 塞进一个文件。
- 控制内链入口：重要页面从首页、栏目页、相关推荐获得入口；低价值页面不要全站铺内链。
- 日志核对：看蜘蛛实际抓了哪些 URL、返回码和响应时间，验证提交策略是否有效。
该观察哪些指标
- 核心目录的抓取频次和占比是否上升；
- 平均响应时间和 5xx、超时次数是否下降；
- “已发现未抓取”的数量变化，是短期波动还是持续增长；
- 新发布页面从提交到首次抓取的时间；
- 抓取到的 URL 中，低价值页面占比是否过高。
提交量只是发现入口的输入，不是收录结果。把队列留给重要页面，比追求提交数量更实际。
常见误判
看到“已发现未抓取”增多，不一定代表被惩罚；可能是提交量突然变大。看到抓取频次下降，也不一定是站点降权；先查服务器响应和错误率。反过来，抓取频次高也不代表收录好，抓取只是中间过程。
比较稳妥的做法是：固定一个观察周期，记录核心页面的抓取和索引变化，再调整提交节奏。不要因为一两天波动就全量重推，也不要把所有 URL 都当作同优先级处理。