很多站点把“蜘蛛来没来”“页面有没有被索引”“搜索有没有流量”放在一张表里看，结果优化动作经常打偏。抓取、索引、展示是三个不同环节，各自看的数据和排查方式也不一样。把它们拆开，很多“收录不好”的问题会更容易定位。
抓取：蜘蛛来没来，抓了什么
抓取是搜索蜘蛛访问 URL 并读取内容的过程。它关心的是可访问性、URL 发现和抓取预算。日志里能看到抓取频次、状态码、抓取时间。
- URL 发现：sitemap、内链、外链、历史抓取等入口，决定蜘蛛是否知道这个地址。
- 可抓取性：robots.txt、状态码、服务器响应、JS 渲染都会影响蜘蛛能否拿到内容。
- 抓取配额：站点体量、更新频率、响应速度会影响蜘蛛愿意花多少时间。
被抓取只代表蜘蛛来过，不代表内容被理解，也不代表会进入索引。
索引：抓取之后，页面能不能被收进去
索引是搜索引擎对页面内容进行解析、去重、质量判断后，决定是否放入可检索数据库的过程。这里更关注内容本身和 URL 口径。
常见卡点
- 重复内容：同一内容多个 URL，参数、大小写、分页、打印版都可能造成分散。
- URL 规范：canonical、内链、sitemap 指向不一致时，蜘蛛需要额外判断哪个是主版本。
- 页面质量：内容单薄、模板化、缺少主体信息，可能停留在“已抓取，尚未编入索引”。
- 软 404：返回 200 但内容为空或近似空，容易被判为低价值页面。
索引量不等于收录了所有 URL，也不等于这些 URL 都会有展示。
展示：索引之后，能不能出现在搜索结果里
展示发生在查询之后。即使页面在索引中，也要看用户搜什么、页面与查询的相关性、竞争页面情况。索引是入场券，不是排名保证。
- 索引量上涨，流量不一定同步上涨。
- 某个关键词没排名，不一定是没收录，可能是相关性或竞争问题。
- 展示数据要看查询、点击、排名区间，而不是只看索引总数。
异常时的排查顺序
遇到“收录不好”的反馈，先确认说的是哪一层，再按顺序查。
- 先看抓取：日志里蜘蛛有没有来？状态码是否正常？robots 是否误挡？
- 再看 URL 发现：重要页面是否在内链和 sitemap 中？入口是否太深？
- 然后看索引：用站点查询和索引覆盖报告，区分“已发现未抓取”“已抓取未索引”“已排除”。
- 接着看规范化：canonical、重定向、参数处理是否统一，是否有多个 URL 竞争同一内容。
- 最后看质量与展示：页面是否满足搜索意图，是否有重复或模板化内容，展示数据是否集中在少数查询。
把抓取问题当索引问题改，容易白忙；把展示问题当收录问题改，容易误伤。
给站点运营的日常检查清单
- 每周看一次抓取日志，关注重要目录的抓取频次和状态码。
- 每月核对一次 sitemap 与 canonical 口径，避免同一内容多地址。
- 对“已抓取，尚未编入索引”的 URL 做抽样，先看内容质量与重复情况。
- 把索引量和展示量分开记录，不用一个指标解释所有问题。
抓取、索引、展示各自有独立的判断逻辑。站点运营更稳妥的做法，是把它们拆开看，按环节找原因，而不是把所有问题都归到“蜘蛛池”或“收录”上。