做蜘蛛池的人迟早會遇到一件事：主入口域名的抓取量突然掉下来。掉的原因可能是被针對性限制，也可能只是爬虫調度本身在波動。备用域名的意义不是“多買几個域名放着”，而是在主入口受限时，有一套已经驗證過、能立刻接上的结构。
先判断：是入口受限，還是抓取本来就波動
動手切之前，先花一两天把日誌翻清楚。只看總量容易誤判，要拆開看。
- UA 分布：是某一個爬虫减少，還是全部减少。單 UA 掉，更像针對性限制；全掉，先怀疑服務器或解析。
- 狀態碼分布：如果入口頁返回 200 却抓取骤降，問题多半在外部；如果 5xx、超时明顯上升，先查主机和带宽。
- 抓取时段曲线：正常波動通常是渐進式的，几天内缓慢下滑；被限制往往是一两天内断崖式下跌。
- 目标頁侧：入口頁還在被爬，但目标頁不再被走到，說明断点在後半段，不一定是入口域名的問题。
先確認断点在哪一段，再决定要不要切域名。很多所谓“主入口被封”，最後查出来是主机挂了或者跳轉鏈路改了。
备用域名要在出事之前就准备好
临时註冊一個新域名顶上去，通過率通常很差。准备工作應该提前完成。
- 域名歷史：查一下是否被用過、有没有不良记錄，老域名不一定是好事。
- 解析與主机：尽量和主域不在同一台机器、同一段 IP、同一套解析服務上，否則一個出問题两個一起出問题。
- 入口頁内容：备用域的入口頁不要和主域完全逐字複製，模板结构可以相似，字段和正文要有差异。
- 目标頁映射：提前想清楚备用域把抓取引向哪些目标 URL，是复用主域的目标頁，還是走一套獨立的。
- 可訪問性：备用域上线後先跑一段時間小流量，確認它自己能正常被爬到，別等到切換当天才第一次见爬虫。
切換的顺序：先小流量，再替換入口
比較稳的做法是让备用域先以“陪同”的身份存在，而不是一夜之間替換。
- 备用域先挂少量入口頁，規模控制在全量的百分之几，观察一到两周抓取情况。
- 確認备用域的入口頁能稳定被爬、且抓取能走到目标頁之後，再逐步上調入口頁數量。
- 主域降級為观察對象，不再新增入口頁，但不要立刻下线，保留一段時間。
- 当备用域的抓取频次稳定在新的基线上，再考虑把主要资源迁過去。
整個過程的關键是让两個域在一段時間内共存，而不是做一次性的硬切換。硬切換没有任何回退余地。
切換时容易踩的几個坑
- 舊域全站 301 到新域：這等于把舊域的信号和風險一起搬過去，也容易被识別為同一套内容換壳。
- 新域一上线就全量铺頁：入口頁數量突然從 0 跳到几千，抓取质量通常很差，還容易触發風控。
- 同一批目标頁在两個域上都出現：等于自己和自己抢抓取预算，收益會被摊薄。
- DNS 的 TTL 设得太長：真出問题时改解析要等很久才生效，平时把 TTL 压在合理范围内。
- 只看域名，不看鏈路：入口頁到目标頁的跳轉方式、參數形式如果有問题，換域名也救不回来。
切換後的观察期看什么
切完之後別急着庆祝，观察期至少半個月。重点看三件事：
- 备用域入口頁的抓取频次有没有回到主域之前的水位，還是只恢复了一部分。
- 抓取有没有走到目标頁，而不只是停在入口頁。
- 舊域的抓取是在缓慢衰减，還是在切換後出現異常上升（說明切換方式可能不對）。
另外，把每次切換的時間点、当时的入口頁數量、观察到的抓取曲线记下来。蜘蛛池這類工作本身没法保證结果，能积累的只有自己的對照資料。下一次再遇到類似情况，你至少知道哪些動作是有效的，哪些纯属折腾。