蜘蛛来訪量不是每天恒定的數字。它受站点更新节奏、外鏈變化、服務器响應以及搜尋引擎自身調度的影响，短時間内上下浮動属于正常。但如果连續几天到几周都明顯低于往常，而頁面更新並没有停，就值得按顺序排查一遍。下面這套顺序的目的，是先用最少的操作排除掉“看起来變少”的假象，再逐步定位真實原因。
一、先確認是不是真的變少
很多“抓取下降”其實是統計口径變化。日誌按天切割时，跨天的會话被拆開；啟用了 CDN 或反向代理後，源站日誌里可能只剩回源請求，邊缘节点直接响應的抓取不會留下记錄；日誌格式調整、字段顺序變化，也會让原有的過滤規則失效。
- 抓取總量對比：用同一台机器、同一條正則、同一個時間段做對比。
- 区分狀態碼：200 與 304 加起来的量，比只看 200 更能反映真實来訪。
- 区分目錄：首頁、列表頁、詳情頁的抓取量分開看，避免被某一類頁面掩盖。
如果確認總量确實下降，再進入下一步。不要把口径問题当成抓取問题去改站。
二、看响應质量：蜘蛛愿不愿意多来
抓取频次和服務器响應有直接關系。响應慢、超时多、错誤率高，爬虫會主動降低對站点的請求频率，而且恢复往往比下降慢。這里要看趋势，不是單次波動。
- 平均响應時間與 95 分位响應時間是否同步上涨。
- 同一時間段的 5xx 比例、连接超时數量。
- 動態渲染、接口聚合頁面是否在關键时刻拖慢了整站。
抓取频次的下降经常滞後于服務器問题几天出現，所以排查时要往前多看一周的服務端指标，而不是只看下降当天。
三、看 URL 供给端有没有断流
蜘蛛抓什么，取决于你给了它什么。如果内鏈结构或 Sitemap 在這段時間發生過調整，抓取分布很容易立刻改變。
- 主導航、面包屑、相關推荐是否改版，導致深层頁面入口變少。
- 列表頁是否停止更新，新内容是否還有稳定入口。
- Sitemap 文件是否仍可訪問、是否被誤加 noindex、lastmod 是否長期不變。
- 是否有大量連結指向 404、多級跳轉或需要 JS 才能渲染出来的地址。
這一類的表現通常是“總量没大變，但新 URL 很少被抓”，和第二节的整站下降不是一回事。
四、抓了不索引，也會反過来影响抓取
有时候蜘蛛還在来，只是抓的都是老頁面，新頁面抓得少。這往往不是抓取端的問题，而是索引端给出的反馈：大量同质頁面、低價值參數頁被批量抓取後没有保留，調度就會倾向保守。
- 抽查近期被抓取的 URL，看它們是否大量属于重复或低质列表。
- 检查是否有參數、排序、篩選地址被大量抓取。
- 規范地址是否稳定，是否存在同一内容多個地址各自被抓。
五、排查顺序與观察周期
- 核對日誌口径，確認下降是真的。
- 回看一周服務端指标，排除响應與错誤問题。
- 检查内鏈與 Sitemap 的近期變更。
- 抽查被抓 URL 的质量分布，判断是否索引端反馈。
- 完成修复後统一记錄時間点，观察一到两周再判断效果。
排查时尽量一次只改一處，並记錄改動時間。抓取量的恢复通常不是线性的，前几天可能没反應，之後才逐步回升。把每一項改動和後續的日誌曲线對應起来，下次再遇到類似情况，判断會快得多。