新做的入口頁，最让人焦虑的往往不是内容，而是“到底有没有蜘蛛来看過”。冷啟動阶段指的是域名或入口頁還没有任何抓取歷史，搜尋引擎對這個地址几乎一無所知的那段時間。這段時間的节奏安排，通常會影响後面 URL 發現是否顺畅。

冷啟動的三個阶段

第一阶段：可抓取性確認

這個阶段不要急着扩量，先把“能不能被爬”這件事做扎實：

• robots.txt 不誤挡入口頁所在目錄，也不要用全站 Disallow 再指望蜘蛛绕過；
• 入口頁返回 200，主体内容直接出現在原始 HTML 里，不依赖 JS 渲染；
• 服務器不要對陌生 UA 一律返回 403 或驗證碼；
• 准备好 sitemap，並在日誌里確認蜘蛛确實訪問過 sitemap 本身。

如果這一步日誌里连續几天都没有任何蜘蛛 UA，先查 DNS、CDN、WAF 和防火墙，而不是急着加更多入口頁。

第二阶段：低频试探

蜘蛛開始零星訪問时，可以逐步放出新的入口頁，但數量要控制。比較稳妥的做法是每天新增少量 URL，並且让新增的 URL 都能從已抓取的頁面上通過正常連結到達——孤立的 URL 被發現的速度通常更慢。

• 观察日誌里蜘蛛的訪問路径，看它是顺着連結走的，還是只走了 sitemap；
• 如果蜘蛛只来一次就不再回来，检查頁面是否返回软 404、内容是否為空、是否有强制跳轉；
• 不要在這個阶段频繁更換模板、标题结构和 URL 規則。

第三阶段：节奏稳定

当蜘蛛開始有規律地回訪，說明抓取鏈路已经通了。此时可以把入口頁的更新频率、内容更新和 URL 新增的节奏固定下来，让回訪时有可预期的“新東西”可看。這個阶段的重点從“被發現”轉向“值得再来”。

几個容易踩的坑

• 一上来就放出几萬條 URL。抓取预算有限，大量低质 URL 會稀释掉真正需要抓取的入口頁；
• 只看 sitemap 提交數量，不看日誌。提交不等于抓取，日誌才是能確認蜘蛛来訪的證據；
• 入口頁刚有訪問就改版。模板、路径、狀態碼一起變，蜘蛛需要重新学习，回訪节奏容易被打乱；
• 把“蜘蛛来過”等同于“會被收錄”。抓取、索引、排名是三件事，谁也無法保證後两步。

冷啟動阶段真正要盯住的只有两件事：入口頁能不能被稳定抓到，以及被抓到之後值不值得再来一次。數量是结果，不是起点。

一個可执行的小节奏

1. 第 1 周：只保留 1～2 個入口頁加一份 sitemap，每天看一次日誌；
2. 第 2 周：每天新增少量 URL，全部通過内鏈可達，不額外制造孤立入口；
3. 第 3～4 周：根據日誌里蜘蛛的回訪間隔，調整新增與更新频率；
4. 稳定後：把新增节奏固定下来，同时定期巡检死鏈、跳轉鏈和 5xx。

冷啟動没有统一的時間表，不同域名、不同行业的差异很大，有人几天就有回訪，也有人几周才等来第一次。與其纠结具体天數，不如把上面這些可控項做干净，然後耐心看日誌。