为什么新域名需要冷启动
新接入蜘蛛池的域名，往往没有历史抓取记录。搜索蜘蛛对它的信任度低，初始抓取频次和深度都有限。如果一上来就投放大量 URL，可能出现两种情况：要么蜘蛛只抓了入口页就离开，要么因为访问特征异常被目标站点的防护策略拦截。冷启动的目的，是让域名和 URL 逐步进入正常的抓取节奏，而不是追求一次性放量。
接入后的第一轮检查
在投放之前，先确认几个基础项：
- DNS 解析是否生效，多地解析是否一致；
- HTTPS 证书是否有效，是否存在证书链不完整；
- 服务器是否返回稳定状态码，避免 5xx 或超时；
- robots.txt 是否允许抓取目标路径，是否误封目录；
- 入口页是否可以正常访问，内部链接是否可达。
这些检查不做，后面的日志观察很容易得出错误结论——看起来是蜘蛛不来，实际是链路不通。
入口页与链接层级
冷启动阶段不需要复杂的页面结构，但需要一条清晰的发现路径。入口页最好能直接链接到第一批目标 URL，并且这些链接是普通可抓取的链接。如果目标 URL 分散在多个目录，可以先按目录整理成几组，每组选一两个代表页作为入口。搜索蜘蛛从入口页进入后，会顺着链接继续抓取。如果入口页没有指向深层页的链接，深层页就只能靠外部投放，发现效率会低很多。
小批量探针投放
冷启动的第一批投放，建议控制在几十条以内，并且选择状态正常、内容完整的页面。投放后重点观察：
- 访问日志中是否出现搜索蜘蛛的 UA 与 IP；
- 蜘蛛停留在入口页还是继续进入下一层；
- 抓取间隔是几分钟、几小时还是几天；
- 是否出现 404、301、502 等异常状态码；
- 同一 IP 或同一 UA 的访问频率是否稳定。
这一轮的目标不是“抓完”，而是确认通路和抓取反应。如果探针批次在合理时间内没有任何蜘蛛访问，先回到第一轮检查，而不是立刻加大投放量。
逐步放量的节奏
当探针批次出现稳定的蜘蛛访问后，可以开始第二轮、第三轮放量。每一轮增加的数量不宜过大，建议以前一轮的 1.5 到 2 倍为参考，同时保留足够的观察间隔。如果上一轮日志中蜘蛛抓取深度明显变浅，或者目标页抓取比例下降，就先暂停，检查 URL 质量、入口链接和服务器响应，而不是继续加量。
冷启动的判断依据是日志反馈，不是投放条数。没有反馈的放量，只是把资源消耗得更快。
容易被忽略的细节
- 重复 URL：同一 URL 带不同参数反复投放，容易让抓取预算浪费在重复内容上。
- 入口页过深：入口页需要多次点击才能到达目标页，蜘蛛可能在中间层就停止。
- 日志留存不足：只记录投放批次，不记录日志片段，复盘时无法判断问题出在哪一层。
- 一次性切换全部资源：新域名和老域名混投，老域名的抓取波动可能掩盖新域名的真实状态。
建议的冷启动清单
- 确认解析、证书、状态码和 robots.txt 无阻断。
- 准备一个指向目标 URL 的入口页，链接可抓取。
- 投放小批量探针 URL，记录投放时间与批次编号。
- 观察日志中的蜘蛛 UA、IP、状态码、抓取深度和间隔。
- 根据反馈决定放量、暂停或回退检查。
- 保留每批次的日志片段和投放记录，方便下一轮判断。
冷启动并不复杂，核心是把“投放—观察—调整”拆成几个小循环。新域名接入后，先让它有稳定的抓取反应，再考虑扩大 URL 数量。这样既节省资源，也更容易定位问题。