做蜘蛛池的人迟早会遇到一件事：主入口域名的抓取量突然掉下来。掉的原因可能是被针对性限制，也可能只是爬虫调度本身在波动。备用域名的意义不是“多买几个域名放着”，而是在主入口受限时，有一套已经验证过、能立刻接上的结构。
先判断：是入口受限，还是抓取本来就波动
动手切之前，先花一两天把日志翻清楚。只看总量容易误判，要拆开看。
- UA 分布：是某一个爬虫减少，还是全部减少。单 UA 掉，更像针对性限制；全掉，先怀疑服务器或解析。
- 状态码分布：如果入口页返回 200 却抓取骤降，问题多半在外部；如果 5xx、超时明显上升，先查主机和带宽。
- 抓取时段曲线：正常波动通常是渐进式的，几天内缓慢下滑；被限制往往是一两天内断崖式下跌。
- 目标页侧：入口页还在被爬，但目标页不再被走到，说明断点在后半段，不一定是入口域名的问题。
先确认断点在哪一段，再决定要不要切域名。很多所谓“主入口被封”，最后查出来是主机挂了或者跳转链路改了。
备用域名要在出事之前就准备好
临时注册一个新域名顶上去，通过率通常很差。准备工作应该提前完成。
- 域名历史：查一下是否被用过、有没有不良记录，老域名不一定是好事。
- 解析与主机：尽量和主域不在同一台机器、同一段 IP、同一套解析服务上，否则一个出问题两个一起出问题。
- 入口页内容：备用域的入口页不要和主域完全逐字复制，模板结构可以相似，字段和正文要有差异。
- 目标页映射：提前想清楚备用域把抓取引向哪些目标 URL，是复用主域的目标页，还是走一套独立的。
- 可访问性：备用域上线后先跑一段时间小流量，确认它自己能正常被爬到，别等到切换当天才第一次见爬虫。
切换的顺序：先小流量，再替换入口
比较稳的做法是让备用域先以“陪同”的身份存在，而不是一夜之间替换。
- 备用域先挂少量入口页，规模控制在全量的百分之几，观察一到两周抓取情况。
- 确认备用域的入口页能稳定被爬、且抓取能走到目标页之后，再逐步上调入口页数量。
- 主域降级为观察对象，不再新增入口页，但不要立刻下线，保留一段时间。
- 当备用域的抓取频次稳定在新的基线上，再考虑把主要资源迁过去。
整个过程的关键是让两个域在一段时间内共存，而不是做一次性的硬切换。硬切换没有任何回退余地。
切换时容易踩的几个坑
- 旧域全站 301 到新域：这等于把旧域的信号和风险一起搬过去，也容易被识别为同一套内容换壳。
- 新域一上线就全量铺页：入口页数量突然从 0 跳到几千，抓取质量通常很差，还容易触发风控。
- 同一批目标页在两个域上都出现：等于自己和自己抢抓取预算，收益会被摊薄。
- DNS 的 TTL 设得太长：真出问题时改解析要等很久才生效，平时把 TTL 压在合理范围内。
- 只看域名，不看链路：入口页到目标页的跳转方式、参数形式如果有问题，换域名也救不回来。
切换后的观察期看什么
切完之后别急着庆祝，观察期至少半个月。重点看三件事：
- 备用域入口页的抓取频次有没有回到主域之前的水位，还是只恢复了一部分。
- 抓取有没有走到目标页，而不只是停在入口页。
- 旧域的抓取是在缓慢衰减，还是在切换后出现异常上升（说明切换方式可能不对）。
另外，把每次切换的时间点、当时的入口页数量、观察到的抓取曲线记下来。蜘蛛池这类工作本身没法保证结果，能积累的只有自己的对照数据。下一次再遇到类似情况，你至少知道哪些动作是有效的，哪些纯属折腾。