新站上线后最常见的焦虑是：页面都写好了，sitemap 也提交了，为什么搜索蜘蛛迟迟不来。要回答这个问题，得先把“发现”和“抓取”分开看——URL 被知道，和 URL 被真正抓取，是两件不同的事，中间还隔着一次调度决策。
发现与抓取是两件事
搜索引擎先通过某种方式拿到 URL（发现），把它们放进待抓取队列，之后才根据优先级、服务器响应状况、站点整体表现等因素决定什么时候来抓（抓取）。最后才轮到解析、判断是否收录。所以“我提交了 sitemap”只是完成了第一步，后面每一步都可能卡住。
URL 通常从这几个入口被发现
- 外部链接：其他站点的链接往往是最早、也相对被信任的入口，新站尤其明显。
- 站内链接：从已被抓取的页面出发，顺着 a 标签走到新页面。
- sitemap：帮助搜索引擎补全站内链接覆盖不到的 URL，但它本身不保证被抓取。
- 站长平台提交：可以主动提交少量 URL，适合重点页面，不适合整站灌进去。
- 历史抓取记忆：老域名或改版后的站点，搜索引擎会按既有规律回来看看。
不要把入口都押在 sitemap 上
sitemap 更像是“补充说明”，而不是主要通道。如果新页面在站内没有任何正文链接指向，只出现在 sitemap 里，就属于孤岛页面，被发现的速度和被抓取的概率都会明显偏低。
新站第一批 URL 的处理顺序
- 先确认首页、栏目页等核心入口本身可以被抓取：没有 robots 拦截、没有整站 noindex、没有登录墙。
- 把新页面挂到已有页面正文里，形成至少一条从入口可达的链接路径。
- sitemap 只放状态正常（200）且允许索引的 URL，不要塞重定向、404、noindex 页面。
- 服务器保持稳定响应，避免在搜索引擎来访时超时或返回 5xx。
- 给重点页面主动提交一次，之后观察抓取日志，而不是反复重复提交。
抓到了却没收录，先看什么
如果日志里已经有蜘蛛访问记录，说明发现和抓取都完成了，问题更可能出在页面本身：内容与站内其他页面高度重复、正文主体太薄、模板占了大半篇幅、页面依赖 JavaScript 渲染但关键内容没有渲染出来。也可能只是暂时排在被抓取之后的处理队列里，需要再等一段时间。
观察新站时，建议看趋势而不是单日数字。收录量本来就是先慢后快，头几周的波动参考价值有限。
用信号判断下一步该改哪里
抓取日志能告诉你蜘蛛来了没有、来了多少次、抓的是哪些 URL；站长平台的索引状态能告诉你页面处于已发现、已抓取还是已收录。两个数据配合看，才能分清是入口不够、抓取受阻，还是页面本身不受待见。盯住一两个环节去改，比一次性大改整站更容易看出效果。