抓取量下滑往往不是單一原因造成的。常见的情况是服務器在某段時間出現响應抖動，抓取調度随之降低；也可能是内鏈入口被誤改、Sitemap 與頁面结构不一致，導致搜尋蜘蛛减少了發現新 URL 的路径。排查时按“先看現象、再看服務器、最後看入口”的顺序，比一上来就改结构更有效。

一、先確認下滑是全局還是局部

打開訪問日誌，按蜘蛛 UA 過滤，統計最近 7 天與 30 天的日抓取量。如果只是某几個目錄下降，問题多半出在入口或内容质量上；如果整站抓取量同步下降，優先怀疑服務器响應或 robots、防火墙等全局因素。

• 按狀態碼分组：200 占比是否下降，5xx、429、403 是否上升。
• 按响應時間分组：平均耗时與慢請求（超過 1 秒）比例。
• 按目錄分组：哪個栏目最先掉量，時間点是否與近期改動吻合。

二、服務器稳定性與响應表現

搜尋蜘蛛對超时和错誤的容忍度有限。短時間的 5xx 或连接超时，會让調度系統降低對整站的抓取频率，恢复需要一段時間，不是修好就立刻回到原来的量。

需要重点看的指标

1. 5xx 错誤率：超過 1% 就值得處理，通常来自資料库慢查询、進程池打满、缓存穿透。
2. 429 與 403：检查是否誤触發了限流規則，或防護策略把蜘蛛 IP 段拦在外面。
3. TTFB：動態頁面尽量控制在几百毫秒内，長期偏高的頁面會更少被抓。
4. 带宽峰值：图片和视频集中加载时，HTML 响應被挤占的情况並不少见。

處理思路是先保 HTML 响應，再谈其他。给静態资源上 CDN、把重查询加缓存、把非核心脚本延後加载，通常比直接升級机器更划算。

三、入口與内鏈结构复查

服務器没問题，就要看蜘蛛是否還能顺畅走到内容頁。

• 導航和列表頁是否還能点進詳情頁，有無因改版丢掉的連結。
• 分頁、篩選、标簽頁是否产生了大量重复入口，稀释了抓取。
• 是否有孤立頁面只能靠 Sitemap 被發現，缺少任何内鏈。

為重要栏目补一條從首頁可達的路径，把深层内容提到距离首頁更近的位置，是恢复期比較稳妥的做法。不要一次性大規模改结构，避免和抓取波動叠加在一起，难以判断哪一步起了作用。

四、Sitemap 與抓取路径的一致性

Sitemap 只解决“告诉蜘蛛有哪些 URL”，不解决“蜘蛛愿不愿意抓”。如果 Sitemap 里的 URL 和實际内鏈指向的 URL 形態不一致（带參數、带尾斜杠、大小寫不同），就會形成两套入口，抓取被分散。

提交前做一次對比：Sitemap 里的 URL 與實际可訪問、返回 200 的 URL 是否一一對應；已下线的頁面是否已经移除；lastmod 是否随内容更新而變化。這些细节並不复杂，但经常被忽略。

五、恢复期的观察方法

修复後不要急着下结论。抓取频率的回升通常滞後几天到两周，期間持續记錄日抓取量、狀態碼分布和新增 URL 的抓取情况，用同一套口径對比，才能看出趋势是否真的改善。

抓取表現受站点歷史、内容更新频率、竞争情况等多方面影响，任何調整都只是提高被正常抓取的概率，無法保證收錄數量或排名變化。

把排查步骤固定下来，形成一份可复用的检查清單，下次再遇到抓取量波動时，就能快速定位到是服務器、入口還是内容层面的問题。