新建好的蜘蛛池，最让人受挫的不是被抓错、被拦截，而是——没动静。日志里空空如也，入口页躺在那里，像一条没人走的路。很多人这时候会急着铺量，几千上万个入口页一次性摆上去，结果往往是抓取没起来，反而先被打上异常标记。冷启动这件事，说的就是这个从“没人来”到“有稳定抓取”的过程。

新池子为什么一开始没爬虫

爬虫发现 URL 的路径大致有三条：外链、主动提交（搜索资源平台推送、sitemap），以及站点自身的历史抓取记录。一个全新的池子，三条都不占：没有外链、没提交过、也没有历史。所以它不被抓，是正常现象，不等于配置出了错。

理解这一点之后，冷启动的目标就不再是“立刻拉来大量爬虫”，而是先让爬虫知道这些 URL 存在，并且确认它们值得再回来。

冷启动的三个阶段

一、可达性验证

先上少量入口页，几十到一两百即可，保证几件事：能正常打开、返回 200、内容不是空的、没有跳转循环。这个阶段的主要工作是排除技术故障——服务器是否稳定、DNS 解析是否正常、有没有被 CDN 或 WAF 拦掉。可以用搜索资源平台的抓取诊断，也可以从外部网络实际请求一次，看返回体和响应头。

这个阶段不追求量，追求的是“每一次被抓都成功”。

二、形成抓取习惯

当日志里开始出现零星抓取，说明爬虫已经记住了入口。接下来是让它愿意再来，方法不是加量，而是保持稳定：入口页内容有细微更新、返回码始终如一、响应时间不忽快忽慢。爬虫对“稳定”的偏好，通常高于对“多”的偏好。

三、逐步扩展

抓取频次稳定之后，再分批增加入口页，一次增加的量控制在当前被抓页面数的同一量级内。加完之后观察一到两周，看新页面能不能被摸到、老页面的频次有没有被摊薄。

冷启动期的动作清单

1. 先提交一批核心入口页的 URL，配合 sitemap；
2. 给入口页配少量真实外链，不用多，几条能走通的即可；
3. 保持入口页返回 200，别在冷启动期做跳转实验；
4. 每天看一次日志，记录抓取次数、状态码分布、UA 分布；
5. 稳定之后再分批扩量，每次扩完留出观察期。

几个常见的踩坑

• 一上线就铺满：新域名突然出现大量 URL，容易触发质量风控；
• 几天没来就换域名：冷启动本身就需要时间，频繁更换等于每次从零开始；
• 内容全空或全同：入口页没有可读内容，爬虫抓一次就不会再来；
• 只看有没有抓，不看抓得顺不顺：状态码忽 200 忽 503，比不来更伤。

什么时候算冷启动结束

比较直观的信号是：日志里每天都能看到抓取，且不是集中在某一个 IP、某几个页面；入口页的抓取间隔从“偶发”变成“有规律”；新加的入口页能在几天内被摸到。到了这一步，池子算是进入正常运转，后面再谈扩量、谈目标页承接才有意义。

冷启动拼的不是量，是耐心和稳定性。爬虫会记住一个稳定的站点，但很难记住一个忽明忽暗的站点。