抓取频次下降的排查顺序：從服務器到站内信号逐层看

抓取频次下滑通常不是單一原因。蜘蛛的抓取决策受入口可達性、服務器响應、站内信号和内容更新节奏共同影响。按從外到内的顺序逐层排查，比一上来就改模板更省時間。

先確認是不是真的下降了

日誌按天取样，把最近七天和上月同期放在一起對比。要区分两组數字：抓取频次（單位時間内的請求次數）和抓取總量（被訪問的 URL 數）。前者掉、後者稳定，多半是蜘蛛把预算集中到了少數重要頁面；两者同时掉，才更可能是入口或响應出了問题。

入口被挡时，蜘蛛连 URL 都發現不了，後續所有優化都没有意义。用不带 Cookie 的干净請求模拟一次，看返回的到底是什么。

證书過期、解析不稳定會直接打断抓取會话。這類故障往往表現為抓取量在某一天断崖式下跌，而不是缓慢下滑。

抓取频次下降有时是站点在自我保護。服務器压力大时，蜘蛛少来反而是好事；要排查的是「為什么服務器會這么慢」，而不是急着把蜘蛛請回来。

參數顺序、大小寫、尾斜杠反复變動，會让同一内容對應多個地址，蜘蛛反复抓取後仍無法确定主版本，抓取效率被稀释。

長期不更新的目錄，抓取频次自然下降，這是正常現象。如果确實有新内容，先保證新 URL 能從已有頁面被連結到，再通過 Sitemap 提交，顺序比數量更重要。

抓取频次是结果，不是目标。把入口、响應、連結通路這三件事理顺，蜘蛛来得多還是少，都能看得清楚原因。