做站点运营时，常听到两种说法：“蜘蛛来过了，怎么还没收录”和“页面都抓取了，索引里却没有”。这两句话背后其实混了同一件事：把抓取当成了收录。抓取是搜索蜘蛛把页面内容取回去；收录是搜索引擎经过筛选后，把页面放进索引，后续才可能被检索和展现。中间隔着好几道关，任何一道没过，页面都可能停在半路。
第一关：URL 能不能被发现
蜘蛛不会凭空知道新页面。它要先通过已有路径发现 URL，常见入口包括站内链接、站点地图、外链、历史抓取记录等。如果页面只靠 JavaScript 点击后才出现，或者入口藏在层层筛选后面，蜘蛛可能很长时间都发现不了。发现只是进入队列，不等于马上抓取。
运营上可以先查：新页面发布后有没有内链指向，站点地图是否更新，重要栏目是否有稳定入口。不要只提交 sitemap 就等结果，内链仍然是更直接的发现路径。
第二关：抓取调度会不会排到
URL 进入待抓队列后，还要等调度。搜索引擎会参考站点权重、更新频率、服务器响应速度、页面重要程度来分配抓取频次。如果服务器经常超时、返回 5xx，或者大量低价值 URL 占着队列，真正重要的页面就可能被往后排。
这时看服务器日志比看后台报告更直接：蜘蛛请求了哪些 URL，返回什么状态码，响应耗时多少。若日志里长期只有旧页面，没有新页面，问题通常出在发现或调度，而不是内容质量。
第三关：抓到的内容是不是正文
抓取成功也不代表内容被完整拿到。如果正文依赖 JavaScript 渲染，而搜索引擎拿到的原始 HTML 只有空壳，后续判断就会受影响。另外，robots.txt 误挡、noindex 标签误用、canonical 指向别的 URL，也会让页面在这一关被放弃或合并。
可以用 URL 检查工具查看“已抓取的 HTML”和“渲染后的 HTML”是否一致。若两者差距很大，优先解决渲染和资源加载问题，而不是反复提交 URL。
第四关：索引前的筛选
即使页面被抓取、内容也完整，搜索引擎仍会做一轮筛选。它要判断这个页面是否独立、是否有用、是否和其他页面高度重复、是否满足某种检索需求。薄内容、参数页、分页副本、重复商品描述，都可能被排除在索引之外，或者只保留一个代表版本。
所以“已抓取，尚未编入索引”并不等于操作失败，它可能表示页面已经进入评估，只是暂时没有通过筛选。运营能做的，是提高页面独立价值，而不是不断改标题或堆关键词。
排查时按链路走，别跳步
- 先确认 URL 有没有被发现：看内链、sitemap、日志里是否出现。
- 再看抓取状态：日志里的状态码、响应时间、抓取频次。
- 然后看抓取内容：原始 HTML 和渲染后 HTML 是否包含正文。
- 最后看索引结果：索引覆盖报告、URL 检查工具、site 查询。
每一步只回答一个问题，避免把“没收录”笼统归因于权重低或内容差。
几个容易混淆的点
- 抓取量不等于收录量。 抓取多只说明蜘蛛来过，索引里留下多少是另一回事。
- 提交 sitemap 不等于收录。 它主要帮助发现 URL，不保证抓取和索引。
- 页面返回 200 不等于内容有效。 空页面、错误提示页、软 404 都可能被抓取，但很难进入索引。
- canonical 不是强制命令。 它是提示，搜索引擎仍会结合内链、sitemap、重复程度判断。
把抓取和收录分开看，运营动作才有着力点：发现靠入口，抓取靠调度和响应，收录靠页面本身是否值得留下。
最后，收录只是中间结果，不是终点。页面进入索引后，还要面对排序和展现。与其每天盯着收录数字，不如把关键页面按这条链路逐段检查：入口是否清楚、响应是否稳定、正文是否可抓、内容是否独立。这样遇到“蜘蛛来过却没收录”时，至少知道该从哪一关开始查。