抓取量曲线不會一直平稳。搜尋蜘蛛的抓取频率本身就跟站点規模、内容更新、服務器狀態有關，短時間的上下波動很正常。但如果连續几天明顯下滑，目标 URL 的發現量也跟着掉，那就值得停下来做一轮排查，而不是急着加域名、換 IP。
第一步：先確認資料本身没骗你
很多人看到的“下降”其實是統計口径變了。換過 CDN、改過日誌格式、日誌被轮轉刪除、只統計了某一個蜘蛛的 UA，都會让曲线出現假跌。
- 對比源站日誌和 CDN 日誌，看两邊是否一致，避免只看缓存命中的那部分；
- 按 UA 分開統計，確認是某一個蜘蛛减少，還是整体都在减少；
- 看狀態碼分布，200 變少的同时 4xx、5xx 是不是變多了。
如果只是某個时段少了，或者周末本身抓取就偏少，先观察一周再下判断。
第二步：按從外到内的顺序查原因
1. 入口頁還能不能正常打開
用不带 Cookie 的請求直接訪問入口頁，看返回狀態碼、响應時間、DNS 解析和 HTTPS 證书是否正常。證书過期、服務器時間不同步、解析被改到已下线的 IP，都會让蜘蛛直接放弃。有條件的话，用和搜尋引擎相同地区的节点再测一遍。
2. robots.txt 和頁面級限制
检查入口頁所在域名的 robots.txt 是否被誤改，Disallow 是否多了一條規則；頁面 head 里是否被模板统一加上了 noindex 或 nofollow。這類改動往往是改版时顺手带上的，排查时最容易被忽略。
3. 服務器响應變慢或被限流
抓取预算和响應速度直接相關。如果入口頁開始出現大量超时、首字节時間明顯拉長，蜘蛛會主動降低訪問频率。检查資料库慢查询、外部资源阻塞、單 IP 並發限制，以及最近是否上了新的安全策略。
4. WAF、CDN 和安全插件誤拦
這類拦截通常不体現在正常訪問日誌里，而是体現在 403、503 或直接断连上。可以临时放行搜尋引擎的官方 IP 段，观察一两天看抓取是否恢复，再决定要不要調整規則，不要長期把防護整体關掉。
5. 入口頁内容和連結结构變了
改版後連結變成 JS 渲染、連結被折叠進 tab、模板把 a 标簽換成了 div 加 onclick，都會让蜘蛛讀不到目标 URL。抓取量下降的同时如果目标 URL 發現量同步下降，這個信号比較典型。
6. 站点整体质量信号
入口頁大量重复、正文几乎空白、目标連結指向的頁面本身质量較低，都可能降低搜尋引擎對整批 URL 的抓取意愿。這时候繼續铺量通常没有效果，先把入口頁做出差异、把目标頁内容补齐更實际。
第三步：恢复阶段別做的事
抓取量下滑时最忌讳频繁改配置：今天改 robots，明天換域名，後天猛提交。每次改動都需要重新观察，节奏被打乱後很难判断到底是哪一步起了作用。
- 不要為了短期資料一次性提交大量 URL；
- 不要在没確認原因前替換整批入口域名；
- 不要關閉全部安全防護来“放蜘蛛進来”。
一個简單的观察节奏
改動之後至少观察 3 到 7 天，看趋势而不是某一天的绝對值。每天记錄三個指标就够了：抓取次數、狀態碼分布、目标 URL 發現量，對比改動前後的曲线，基本能判断方向對不對。搜尋抓取本身有延迟，当天没反應不代表方案無效，反過来当天涨了也未必是這次改動带来的。