做收录核对时，很多人第一反应是看索引量涨了没有、site 查询结果多了几个。但索引量只是结果，往前推还有两步：蜘蛛要先发现 URL，然后才谈抓取和编入索引。如果地址压根没被蜘蛛看到，后面所有优化都使不上劲。
发现、抓取、索引是三件事
URL 发现，指的是蜘蛛从某个入口知道“世界上存在这个地址”。常见入口包括站内链接、sitemap、外部链接、提交接口、跳转关系等。抓取是蜘蛛真的来请求了这个地址，索引则是搜索引擎判断页面值得保留后放进候选库。三个环节任何一环断了，收录核对都会卡住。
排查时不要只问“为什么没收录”，先问“蜘蛛有没有机会看到它”。
常见的 URL 发现渠道
- 站内链接：从已有页面指向新页面，是最稳定的发现路径。入口越深、链接越少，被发现越慢。
- sitemap：适合批量提交新地址，但它更像一份清单，不保证蜘蛛立刻来抓。
- 外部链接：其他站点指向你的页面，也能成为发现入口，但可控性较低。
- 提交接口：部分搜索引擎提供 URL 提交入口，可作为补充，不等于收录承诺。
- 跳转与重定向：旧地址 301 到新地址时，蜘蛛可能顺着跳转发现新 URL。
- 页面内的分页、筛选、相关推荐：这些位置会产生大量链接，但容易把蜘蛛带到低质或重复地址上。
核对时先回答三个问题
- 这个 URL 有没有至少一条可爬入口？ 如果只存在于后台或接口返回里，蜘蛛通常看不到。
- 入口页面本身能不能被抓取？ 被 robots 屏蔽、需要登录、返回错误码的页面，无法把发现机会传下去。
- 发现路径是否太深或太绕？ 点击五六层才到，或者必须经过参数跳转，都会拉长发现时间。
发现路径单一会有什么表现
常见现象是：sitemap 里提交了，日志里却迟迟没有该地址的抓取记录；或者只有一条很深的导航链，蜘蛛偶尔爬到一次就再也没回来。这时与其反复提交，不如先补一条稳定的站内入口，比如在相关栏目页、聚合页或上一篇/下一篇里加上链接。
发现是收录的前置条件，但不是收录的保证。蜘蛛看到了，仍可能因为内容质量、重复度、抓取预算等原因不索引。
一个简单的发现路径核对表
- 新 URL 是否出现在站内可点击的链接里？
- 链接所在页面是否返回正常状态码、可被抓取？
- sitemap 是否包含该地址，且没有混入重定向和 404？
- 是否有外部或历史链接指向它？
- 日志里是否出现过对应蜘蛛的请求？
把这几项过一遍，再去看抓取和索引状态，排查会清楚很多。收录核对不是盯着一个数字，而是顺着 URL 从被发现到被索引的链路逐段检查。