蜘蛛池跑起来之後,最容易被忽略的不是怎么铺量,而是入口失效之後怎么办。主域名被拦、被投诉、證书過期、服務器掉线,這些都不是假设。备用入口的意义在于:主线断掉的时候,已经建立起来的抓取习惯不至于一起归零。
什么情况下需要备用入口
- 主域名解析異常,或被安全软件、浏览器标记,用戶和蜘蛛都進不来;
- 服務器是單点,机房或线路故障,短時間内修不好;
- HTTPS 證书、CDN 配置出問题,排查需要時間;
- 合規或备案层面的被動下线,恢复時間不由自己决定。
不是每個入口都要配一整套备胎。但如果某個入口承担了較大比例的抓取量,没有备用方案就是在赌运气。
备用入口的几種形態
备用域名
最彻底,也最容易踩坑。老域名有歷史包袱,新域名没有抓取歷史,两者各有代價。切換之前要把备用域名的解析、證书、頁面内容先跑通,別等到出事当天才第一次訪問它。
备用目錄或子域名
同一主域名下的 /backup 目錄或 backup 子域,省事,但主域名整体出問题时它們會一起没。适合應對單台服務器、單個目錄的故障,不适合應對域名級的問题。
备用服務器或 IP
頁面内容不變,只換 IP 或換机房。對蜘蛛来说感知最小,前提是入口 URL 不變,並且 DNS 的 TTL 要提前調低,否則切換要等很久才生效。
切換时要注意的几件事
- 不要一次性全切。先切一部分,看日誌里蜘蛛的抓取是否恢复,再决定後續批量。
- 备用入口不要和主入口同时對外提供一模一样的内容,容易出現重复頁面互相稀释。要么做跳轉,要么明确 canonical 指向。
- 舊入口別立刻 404。给它一個過渡期,用 301 或明确的 410 收尾,让蜘蛛知道發生了什么。
- 备用入口平时要有真實内容,不要只放一句“建设中”。長期空轉的頁面,蜘蛛来過几次就不會再来了。
- 记錄切換的時間点。恢复之後對比日誌,才能判断這次切換到底起没起作用。
怎么早一点發現主入口出問题
- 看訪問日誌里蜘蛛的抓取條數是不是異常下降;
- 看入口頁的响應時間與狀態碼,4xx、5xx 明顯增多就要警觉;
- 给關键入口做一個简單的可用性探测,比人工訪問靠谱;
- 盯住證书到期時間,別等到当天才發現。
备用入口的價值不在于平时多带来多少抓取,而在于主线断掉时,你還留着一扇没被關上的门。
几個常见誤区
一是把备用入口当成第二個主入口,两個域名天天一起铺,结果两邊的积累都不够,谁也没做起来。二是备用入口長期不管,内容停留在半年前,真要用的时候發現它自己早就失效了。三是切換過程不留记錄,出問题回头查,连哪天改的都说不清。
备用入口不需要很多,一两個能真正接住的就够了。關键是平时把它当正式入口對待——解析通、證书對、頁面有内容、日誌能看。做到這几点,出事的时候才不至于手忙脚乱。