新页面发布后，最常见的焦虑是“为什么还没收录”。但“收录”这个词常被当成一件事，实际上它至少由三段组成：URL 被发现、被爬虫抓取、被索引并进入可展现状态。把这三段拆开看，你才知道自己在等什么，也才知道该做什么。
一、先把等待拆成三段
- 发现：爬虫知道了这个 URL 的存在，把它放进待抓取队列。来源通常是内链、站点地图、外链或历史抓取。
- 抓取：爬虫实际请求了这个 URL，拿走了 HTML。这一步能在服务器日志里看到。
- 索引与收录：内容被解析、评估，判定可以进索引；之后才可能在搜索结果里出现。
三段之间没有固定的时间承诺。发现可能几分钟，也可能几周；抓取完到进索引，同样可能很快也可能拖很久。
二、发现环节：让 URL 尽早被看见
如果一个页面只有首页能点进去，或者只在 XML 站点地图里出现，它被发现的速度就取决于爬虫多久来一次。提升发现速度，优先级一般是：
- 从相关且已被抓取的老页面加上正文内链，而不是只放在全站导航或页脚。
- 把新 URL 放进站点地图，并保证站点地图本身被正常抓取，sitemap 里只放 canonical 指向的最终版本。
- 确认该 URL 不需要登录、不被 robots.txt 挡住、状态码是 200。
想验证是否已被发现，看日志里有没有对这个 URL 的请求；只看“已发现，尚未编入索引”这类状态，只能说明它进了队列，不能说明抓取过。
三、抓取环节：抓到了不代表马上用
爬虫来了又走，没留下任何索引变化，是很正常的。抓取频次受站点整体质量、更新节奏、服务器响应速度影响。
- 服务器响应慢、频繁 5xx，会直接压低抓取频次。
- 页面依赖大量 JS 渲染，抓取到的内容可能与用户看到的不一致，判断也会更慢。
- 同一内容有多个 URL 版本时，抓取会被分散，主版本反而排到后面。
四、索引评估：最不确定的一段
抓取之后，页面要过一遍质量判断：内容是否足够、是否与站内其他页面高度重复、是否属于列表或筛选类模板、是否缺少上下文。这一段的时长没有外部工具可以直接干预，能做的只有把页面本身做好。
常见拖慢因素包括：正文过短、由模板批量生成的近似页面、标题与正文不匹配、页面主要内容藏在图片里。
五、等待期该做与不该做的事
值得做
- 在日志里确认抓取行为，区分“没被发现”和“抓了没进索引”。
- 补充内链，让页面离首页更近一点。
- 检查该 URL 是否与站内其他页面重复，必要时做合并或 canonical 收口。
- 保持原有 URL 稳定，不要为了催收录反复改地址。
不建议做
- 反复手动提交同一批 URL，或整站提交，容易稀释真正重要的页面。
- 改标题、改正文后重新发布，把页面当成新页面再等一轮。
- 为了“看起来收录多”批量生成低价值页面。
六、什么时候该当成异常处理
如果某个 URL 长期没有被抓取，先按顺序排查：robots.txt 是否误屏蔽、是否零内链的孤岛页、服务器是否对爬虫返回异常状态、是否被 noindex 或 canonical 指向了别处。若日志显示抓取频繁但仍不进索引，重点转向内容与重复度，而不是继续催抓取。
新页面从发布到进索引，没有统一时长。把“等待”拆成发现、抓取、评估三段，你才能判断自己是在正常排队，还是链条上有一环断了。