新站上线後最常见的焦虑是：頁面都寫好了，sitemap 也提交了，為什么搜尋蜘蛛迟迟不来。要回答這個問题，得先把“發現”和“抓取”分開看——URL 被知道，和 URL 被真正抓取，是两件不同的事，中間還隔着一次調度决策。
發現與抓取是两件事
搜尋引擎先通過某種方式拿到 URL（發現），把它們放進待抓取队列，之後才根據優先級、服務器响應状况、站点整体表現等因素决定什么时候来抓（抓取）。最後才轮到解析、判断是否收錄。所以“我提交了 sitemap”只是完成了第一步，後面每一步都可能卡住。
URL 通常從這几個入口被發現
- 外部連結：其他站点的連結往往是最早、也相對被信任的入口，新站尤其明顯。
- 站内連結：從已被抓取的頁面出發，顺着 a 标簽走到新頁面。
- sitemap：帮助搜尋引擎补全站内連結覆盖不到的 URL，但它本身不保證被抓取。
- 站長平台提交：可以主動提交少量 URL，适合重点頁面，不适合整站灌進去。
- 歷史抓取记忆：老域名或改版後的站点，搜尋引擎會按既有規律回来看看。
不要把入口都押在 sitemap 上
sitemap 更像是“补充說明”，而不是主要通道。如果新頁面在站内没有任何正文連結指向，只出現在 sitemap 里，就属于孤岛頁面，被發現的速度和被抓取的概率都會明顯偏低。
新站第一批 URL 的處理顺序
- 先確認首頁、栏目頁等核心入口本身可以被抓取：没有 robots 拦截、没有整站 noindex、没有登入墙。
- 把新頁面挂到已有頁面正文里，形成至少一條從入口可達的連結路径。
- sitemap 只放狀態正常（200）且允许索引的 URL，不要塞重定向、404、noindex 頁面。
- 服務器保持稳定响應，避免在搜尋引擎来訪时超时或返回 5xx。
- 给重点頁面主動提交一次，之後观察抓取日誌，而不是反复重复提交。
抓到了却没收錄，先看什么
如果日誌里已经有蜘蛛訪問记錄，說明發現和抓取都完成了，問题更可能出在頁面本身：内容與站内其他頁面高度重复、正文主体太薄、模板占了大半篇幅、頁面依赖 JavaScript 渲染但關键内容没有渲染出来。也可能只是暂时排在被抓取之後的處理队列里，需要再等一段時間。
观察新站时，建议看趋势而不是單日數字。收錄量本来就是先慢後快，头几周的波動參考價值有限。
用信号判断下一步该改哪里
抓取日誌能告诉你蜘蛛来了没有、来了多少次、抓的是哪些 URL；站長平台的索引狀態能告诉你頁面處于已發現、已抓取還是已收錄。两個資料配合看，才能分清是入口不够、抓取受阻，還是頁面本身不受待见。盯住一两個环节去改，比一次性大改整站更容易看出效果。