发现、抓取、收录是三件不同的事

很多运营把“提交了 Sitemap”和“蜘蛛来了”画等号，其实中间隔着至少三个环节：蜘蛛在某个页面或 Sitemap 里读到你的 URL（发现），把它放进待抓队列并实际发起请求（抓取），最后评估内容质量决定是否放入索引（收录）。每一步都可能断掉，而断点不同，处理方式也完全不同。

发现只是拿到了地址，抓取才是真正读了页面，收录是另一场评估。三者混在一起看，就容易得出“提交没用”的错误结论。

先看服务器日志：最硬的证据

日志是唯一能证明蜘蛛真的来过的东西。按下面的字段筛一遍，通常十分钟就能看清状态：

• UA 里带 Googlebot、Bingbot 等标识的请求，按时间倒序看最近几天；
• 目标 URL 是否出现过 200，还是被 301、404、503 拦住；
• 同一个 URL 被访问的次数和间隔，判断是偶尔路过还是已经进入常规抓取；
• 返回体大小是否正常，返回 0 字节往往是超时或服务端中断。

如果日志里完全没有目标地址，说明问题还停在发现环节，重点应放在内链、Sitemap 和入口页面，而不是急着去改页面本身。

后台数据做交叉验证

站长工具里的抓取统计、已发现但未抓取的 URL 数量、URL 检查工具的单条测试，可以和日志互相印证。注意几点：统计有延迟，通常滞后一两天；URL 检查工具发起的是实时抓取，它成功不代表常规抓取队列已经排上；“已发现未抓取”本身是一个会长期存在的状态，少量正常，持续增长才需要警惕。

主动提交能缩短哪一段等待

Sitemap 提交、IndexNow、站长工具的单个 URL 提交，解决的都是“发现”这一段，让蜘蛛更快知道地址存在，它们替代不了抓取和收录判断。一个常见误区是：页面本身返回 503，或者内容需要登录才能看到，却反复提交几十次，结果每次抓取都失败，反而拉低了整站的抓取效率。

提交之后没动静，通常卡在这几处

• 入口页面本身没被抓过，内链再合理也走不到目标页；
• Sitemap 里的 URL 与实际可访问地址不一致，比如带了跟踪参数或大小写不同；
• 服务器对蜘蛛的响应时间明显长于普通用户，抓取被超时打断；
• 同一批新 URL 一次抛出太多，超出了当前站点能拿到的抓取额度。

一套可复用的检查顺序

1. 确认地址本身返回 200，且内容不是空壳或跳转页；
2. 在站内找到一条真实可点击的链接指向它，检查是否被 nofollow 或脚本阻断；
3. 查日志，确认蜘蛛是否访问过入口页和目标页；
4. 对比后台“已发现未抓取”的趋势，判断是排队还是被卡住；
5. 若长期无动静，优先检查服务器稳定性和响应速度，再考虑内链层级是否需要提浅。

把这套顺序固定下来，你会发现大部分“URL 不被抓取”的问题并不神秘，只是环节搞混了。发现靠链接和 Sitemap，抓取靠服务器和额度，收录靠内容本身，三者分开排查，效率会高很多。