新页面发布之后,最常见的疑问是“多久能被收录”。这个问题没有统一答案:同样的内容,放在更新频繁、结构清晰的老站上,可能几小时到一天就出现在索引里;放在新站、深目录或长期不更新的栏目下,等上几周也不奇怪。与其盯着一个天数,不如把等待过程拆成几步,看清楚自己卡在了哪一环。
收录是一条流水线,不是一个开关
搜索引擎处理一个 URL,大致要经过三个环节:发现(知道这个地址存在)、抓取(下载页面内容)、索引(判断内容有价值、可入索引后建档)。任何一步没走完,检索结果里都不会出现这个页面。
- 没有被发现:没有内链、sitemap 没更新、也没有外部链接指向,蜘蛛根本不知道这个地址。
- 发现了但没抓:还在队列里,或者抓取能力被更重要的页面占着。
- 抓了但不索引:内容太薄、与已有页面高度重复,或者被 noindex、canonical 指到了别的地址。
所以“提交了却没反应”和“等了很久没收录”,往往不是同一个问题,处理方向也完全不同。
影响等待时间的几个变量
- 站点的抓取能力:整站 URL 数量、服务器响应速度、是否存在大量无效地址消耗抓取。页面越多,新 URL 通常排得越靠后。
- 内链位置:从首页或栏目页一级入口点进去的页面,被发现得更快;藏在四五层之后、只靠分页列表暴露的页面,可能要等很久。
- 页面本身的区分度:与站内已有内容高度相似的页面,即使被抓到,也容易被合并或直接跳过。
- 站点历史:长期稳定输出、没有堆积大量低质页面的站点,新内容一般享受更短的等待时间。
主动提交能做什么,不能做什么
主动手段的作用主要是缩短“发现”这一步,而不是跳过抓取和索引判断。
- sitemap:适合把新 URL 成批告知搜索引擎,前提是文件里给的是可抓取的规范地址,且更新时间有实际变化。
- 内链:在相关文章里自然地链到新页面,是最稳定、最不依赖外部条件的方式。
- 提交接口或 IndexNow:多数情况下能让蜘蛛更快知道地址,但不保证抓取时间,更不保证收录结果。
- 外部链接:来自相关站点的链接能带来发现机会,但可控性低,不适合当成主要手段。
所有提交工具都只能加速“发现”,不能替你决定页面值不值得进索引。
怎么观察一个页面的进度
- 看服务器日志:蜘蛛有没有来、来的是哪个地址、返回码是什么。这是最直接的一手记录。
- 看站点管理后台的 URL 状态:区分“已发现未抓取”“已抓取未索引”“已排除”,三种状态对应不同的处理方向。
- 用站内搜索做粗略确认:结果数量只作参考,不能当作精确的索引量。
- 记录时间点:把发布时间、日志中首次抓取时间、首次出现在检索结果的时间记下来,积累几轮就能估出自己站点的平均节奏。
等太久没收录,按顺序排查
- URL 是否被 robots.txt 挡住,或页面里有 noindex;
- canonical 是否指向了别的地址,导致代表页面变成了另一个;
- 页面是否与站内已有内容大段重复,只是标题或筛选条件不同;
- 页面是否有实际内容,还是以加载状态、空列表或登录提示为主;
- 内链是否真的可达,还是只存在于某个没人访问的角落里;
- 服务器对新页面是否返回了错误码或超时。
这几项排完,多数“不收录”都能落到具体原因上。剩下的就是内容本身是否值得被索引,这部分没有捷径,只能靠持续产出有区分度的页面。