聊收录问题时,很多人第一反应是打开站点地图,看有没有提交、有没有报错。但 sitemap 只是搜索引擎发现 URL 的方式之一,而且往往不是最有效的那一种。一个页面迟迟不出现,问题可能出在发现环节,也可能压根不在发现环节,把它们混在一起看,排查会变得很绕。
发现、抓取、索引是三件事
发现,指搜索引擎知道有这么个 URL 存在;抓取,指它真的来取了一次;索引,指内容被处理并进入可供检索的库。这三步是串联的,前一步没完成,后一步无从谈起;但前一步完成了,后面两步也未必发生。很多人说“提交了没反应”,其实是把提交当成了收录开关,而提交最多只影响第一步。
几个常见的发现入口
站内链接
从抓取效率上看,站内链接通常是最稳的一条路。爬虫顺着已抓取的页面一路走下去,链接是它最自然的路标。一个页面如果从首页或栏目页点击两三次就能到达,被发现的概率明显高于只躺在 sitemap 里的孤立页面。链接文字(锚文本)和链接所在位置也会影响权重判断,正文区内的链接一般比页脚的批量链接更受重视。
sitemap
sitemap 的价值在于批量声明,尤其是那些内链层级很深、或者结构上不容易被爬到的页面(比如老文章、商品详情页)。它是一种建议性提交,不是强制抓取指令。需要注意的是,sitemap 里塞进重定向、404、noindex 的 URL,不仅没帮助,还会稀释它本身的可信度。
外链
外部站点指向你的链接,同样会带来发现机会,质量高的外链还可能顺带影响抓取优先级。问题在于可控性低,你很难决定别人什么时候挂、挂多久。把外链当作主要发现渠道,会很不稳定。
主动提交接口
各搜索引擎提供了不同的提交方式,比如 IndexNow 这类协议,或搜索资源平台里的 URL 提交工具。它们的作用是缩短“从发布到被发现”的等待时间,适合时效性强的内容。但要清楚它们不保证抓取,更不保证收录,提交量过大时还可能被降级处理。
几条渠道怎么排顺序
- 新页面先保证有可点击的站内入口,这是基础,不要跳过。
- 批量内容更新后,同步维护 sitemap,保证 URL 集合是干净、准确的。
- 时效性强或特别重要的页面,再用主动提交接口推一把。
- 外链作为长期补充,不必为了发现而刻意堆砌。
容易踩的几个坑
- 只靠 sitemap:页面没有任何内链入口,爬虫即使从 sitemap 拿到 URL,也会因为页面缺少上下文而降低优先级。
- 把提交接口当收录开关:提交后立刻去查索引,没有就反复提交,反而容易触发限制。
- sitemap 内容不干净:混入重定向、错误页、被屏蔽的 URL。
- 参数页全量提交:筛选、排序、分页参数生成的 URL 大量涌入,真正需要收录的页面反而不明显。
- 忽略 robots 与状态码:URL 本身返回 5xx 或被 robots.txt 挡住,再多的提交也无意义。
出问题时的自查顺序
- 手动访问该 URL,确认返回正常状态码、没有误伤性的 robots 规则、页面不是 noindex。
- 检查站内是否有可达的链接入口,算一下从首页点几次能到。
- 核对该 URL 是否已经正确出现在 sitemap 中,且格式无误。
- 翻服务器日志,看爬虫是否来过、来了几次、抓的时候返回了什么。
- 如果日志显示已抓取但未收录,问题就转移到了内容与索引环节,不再是发现环节的事。
发现是收录链路的起点,但它只解决“知不知道自己存在”,解决不了“值不值得抓”和“值不值得收”。把这三件事分开看,排查会清晰很多。
实际操作中,与其纠结某一条渠道是否“最有效”,不如保证几条渠道同时成立:页面有内链、sitemap 干净、可抓取无阻碍。多数所谓的收录卡壳,最后都指向这三项里的某一项没做到,而不是少了某个提交动作。