新建好的蜘蛛池，最让人受挫的不是被抓错、被拦截，而是——没動静。日誌里空空如也，入口頁躺在那里，像一條没人走的路。很多人這时候會急着铺量，几千上萬個入口頁一次性摆上去，结果往往是抓取没起来，反而先被打上異常标记。冷啟動這件事，说的就是這個從“没人来”到“有稳定抓取”的過程。
新池子為什么一開始没爬虫
爬虫發現 URL 的路径大致有三條：外鏈、主動提交（搜尋资源平台推送、sitemap），以及站点自身的歷史抓取记錄。一個全新的池子，三條都不占：没有外鏈、没提交過、也没有歷史。所以它不被抓，是正常現象，不等于配置出了错。
理解這一点之後，冷啟動的目标就不再是“立刻拉来大量爬虫”，而是先让爬虫知道這些 URL 存在，並且確認它們值得再回来。
冷啟動的三個阶段
一、可達性驗證
先上少量入口頁，几十到一两百即可，保證几件事：能正常打開、返回 200、内容不是空的、没有跳轉循环。這個阶段的主要工作是排除技術故障——服務器是否稳定、DNS 解析是否正常、有没有被 CDN 或 WAF 拦掉。可以用搜尋资源平台的抓取诊断，也可以從外部網絡實际請求一次，看返回体和响應头。
這個阶段不追求量，追求的是“每一次被抓都成功”。
二、形成抓取习惯
当日誌里開始出現零星抓取，說明爬虫已经记住了入口。接下来是让它愿意再来，方法不是加量，而是保持稳定：入口頁内容有细微更新、返回碼始终如一、响應時間不忽快忽慢。爬虫對“稳定”的偏好，通常高于對“多”的偏好。
三、逐步扩展
抓取频次稳定之後，再分批增加入口頁，一次增加的量控制在目前被抓頁面數的同一量級内。加完之後观察一到两周，看新頁面能不能被摸到、老頁面的频次有没有被摊薄。
冷啟動期的動作清單
- 先提交一批核心入口頁的 URL，配合 sitemap；
- 给入口頁配少量真實外鏈，不用多，几條能走通的即可；
- 保持入口頁返回 200，別在冷啟動期做跳轉實驗；
- 每天看一次日誌，记錄抓取次數、狀態碼分布、UA 分布；
- 稳定之後再分批扩量，每次扩完留出观察期。
几個常见的踩坑
- 一上线就铺满：新域名突然出現大量 URL，容易触發质量風控；
- 几天没来就換域名：冷啟動本身就需要時間，频繁更換等于每次從零開始；
- 内容全空或全同：入口頁没有可讀内容，爬虫抓一次就不會再来；
- 只看有没有抓，不看抓得顺不顺：狀態碼忽 200 忽 503，比不来更伤。
什么时候算冷啟動結束
比較直观的信号是：日誌里每天都能看到抓取，且不是集中在某一個 IP、某几個頁面；入口頁的抓取間隔從“偶發”變成“有規律”；新加的入口頁能在几天内被摸到。到了這一步，池子算是進入正常运轉，後面再谈扩量、谈目标頁承接才有意义。
冷啟動拼的不是量，是耐心和稳定性。爬虫會记住一個稳定的站点，但很难记住一個忽明忽暗的站点。