经常有人问：日志里明明看到蜘蛛抓了几百个 URL，索引报表却只多出几十条；或者反过来，报表显示已收录，日志里却找不到对应的抓取记录。这两种情况本身都不算故障，多数时候是口径和时间差造成的错觉。真正需要排查的，是排除这两个因素之后仍然对不上的那一部分。

一、先分清抓取、索引和“能被搜到”

这三件事经常被当成一件事，但对不上号的根源往往就在这里：

• 抓取：从服务器日志或抓取日志里看到的一次请求。它只说明这个 URL 被访问过，不说明任何后续结果。
• 索引：URL 进入了索引库，报表里会体现为“已收录”或“已发现但未编入索引”等状态。
• 能被搜到：取决于查询词、排序和其他页面的竞争，属于展示层面，不能直接当成收录状态来读。

把这三层分开之后，很多“抓了却不收录”“收录了却搜不到”的疑问会先消掉一半。

二、时间差是最大的干扰项

抓取和索引不是同步动作。蜘蛛访问完之后，页面要经过解析、去重、质量判断，才可能进入索引库；报表本身也有更新周期。所以同一时间点截取的日志和报表，本来就不该完全一致。

常见的几段延迟

• 抓取发生，到该 URL 首次出现在索引报表里，中间可能隔几天到几周，取决于站点整体抓取节奏和页面权重。
• 索引状态在报表里的更新，通常滞后于实际状态变化，短期内以小时或天为单位跳动很正常。
• 已收录页面被重新抓取后，索引里的版本替换也需要时间，日志里看到了新抓取，不等于索引里已经是新版本。

因此核对时第一步不是找差异，而是把两边的数据限定在同一个时间窗口内。用今天的日志去比对上周的报表，结论必然是错的。

三、抽样口径与覆盖范围不一致

索引报表大多是抽样或估算结果，展示的是某个时间点系统认为的状态；而日志是逐条记录的全量请求。拿全量样本去比对抽样样本，差异天然存在。另外还要注意：

• 报表里看不到某个 URL，不代表它没被抓过，可能只是没被列进你查看的那一列。
• 日志里也没有的 URL，通常说明它还没被发现，这时才轮到 URL 发现入口的问题。
• 同一页面的多个变体（带参数、大小写不同、结尾斜杠不同）会在核对时被算成不同条目，先把变体归并再对比。

四、建议的核对顺序

1. 固定时间窗口：日志和报表取同一段日期，避免跨周期比对。
2. 固定样本：挑一批有代表性的 URL，比如栏目页、详情页、过滤页各取一部分，而不是全站混着看。
3. 归并 URL 变体：把参数、大小写、斜杠差异统一成规范形式，再统计数量。
4. 排查访问限制：robots.txt、noindex、canonical 是否与预期一致，返回码是否稳定在 200。
5. 检查页面本身：正文是否能被抓到、是否存在大量模板化内容、同一内容是否有多个版本。
6. 记录差异并隔周复查：一次对不上说明不了什么，连续两三次都对不上同一批 URL，才值得深入处理。

五、几个容易踩的坑

日志里有抓取，不代表页面一定会被索引；报表里没显示，也不代表页面一定没被索引。两条数据流本来就不是一一对应的。

另外两点提醒：推送类工具只能提高 URL 被发现的概率，不会改变索引层面的判断，把它当成“保证收录”的手段容易误判问题所在；站点地图提交了 URL，也仍然要走同样的筛选流程。

把抓取和收录分开看，把时间差和抽样口径先排除掉，剩下的差异通常就指向具体问题了：要么是页面本身不适合进入索引，要么是访问限制或 URL 规范没理清。先缩小范围，再动手改，比一次性调整一堆设置更靠谱。