很多运营人员看到服务器日志里有搜索蜘蛛的访问记录，就默认页面“已经被收录”。但日志只能说明蜘蛛来过，不能说明页面进入了索引。从 URL 被发现，到最终能出现在搜索结果里，中间至少隔着抓取、解析和索引筛选几个环节。把它们混在一起看，排查时容易改错地方。

第一步：URL 被发现

搜索蜘蛛首先要拿到地址。常见入口有站内链接、sitemap、外部链接，以及搜索平台提供的提交入口。如果页面没有任何入口指向，或者入口藏在需要复杂交互才能展开的模块里，蜘蛛可能根本不知道它存在。此时页面在索引里查不到，原因不在页面质量，而在发现环节。

检查时可以先看：新页面发布后，站内是否有稳定的链接指向它；列表页、聚合页是否能直接输出链接；sitemap 是否包含该 URL。不要只依赖提交接口，外部和内部链接仍然是重要的发现路径。

第二步：抓取是否成功

发现 URL 后，蜘蛛会尝试抓取。抓取失败的原因很直接：服务器返回 5xx、响应超时、被防火墙或限流拦截、robots.txt 禁止抓取。还有一种容易被忽略的情况是页面依赖 JavaScript 渲染，而关键内容没有以可抓取的形式输出。蜘蛛拿到的 HTML 与用户看到的不一致，后续索引判断自然缺少依据。

如果日志里只有少量抓取记录，或者反复出现错误状态码，应该先解决抓取可用性，而不是急着改标题和正文。抓取都拿不到内容，讨论收录为时过早。

第三步：内容能否进入索引

抓取成功也不等于一定收录。搜索系统还要判断页面是否值得进入索引：内容是否与已有页面高度重复，是否有明确的主题，是否属于薄内容或空壳页，是否被 noindex、canonical 等指令指向别处。参数页、筛选页、打印页、多语言重复页，常常在这一步被归并或过滤。

这里要区分“被归并”和“被拒绝”。归并是搜索引擎认为多个 URL 指向同一主题，选择一个代表；被拒绝则可能因为质量或技术限制。两者的处理方式不同，前者重点在 URL 规范，后者要回到页面本身。

收录之后才有排名讨论

页面进入索引，只是拿到了参与搜索结果的资格，并不保证有排名，也不保证有流量。收录是基础设施，排名还要看查询匹配、内容质量、链接关系和用户体验。把收录和排名拆开看，才不会因为一个词没排名就误判页面没被收录。

怎么判断卡在哪一步

• 发现层：站内链接是否可达，sitemap 是否完整，提交后是否被读取。
• 抓取层：日志中状态码、抓取频次、响应时间，robots 是否放行。
• 索引层：页面是否有 noindex、canonical 指向他页、内容是否重复或过薄。
• 展示层：已收录但无排名，属于检索匹配和排序问题，不是收录问题。

实际操作中，可以先用抓取统计和日志确认蜘蛛是否来过；再用 URL 检查工具看抓取状态和索引状态；最后对照页面内容、规范标签和重复情况。按这个顺序走，比一上来就改模板更省时间。

抓取是过程，收录是结果。页面没出现在索引里，先确认它有没有被成功抓取和解析，再判断内容是否满足索引条件。