讨论收錄时，注意力通常放在内容和 URL 規范上。但抓取端還有一层更基础的東西：服務器愿不愿意、来不来得及把頁面交出去。响應慢、超时多、错誤率高的站点，往往内容本身没什么問题，收錄节奏却一直起不来。
抓取端先看到的是能不能拿到，不是内容好不好
抓取調度有两個约束：單位時間内能發多少請求，以及每個請求要等多久。响應時間越長，同一時間段内能完成的抓取就越少。如果站点 URL 總量在持續增長，而抓取速度没有變化，结果就是新頁面被發現的時間被不断推後。
更麻烦的是超时和错誤。一次請求超时通常不會立刻被判定為失敗，而是會被重试；重试又占用了本可以用在其他頁面上的額度。当 5xx、403、429 這類响應占比升高时，抓取频率往往會被主動下調，恢复和下調一样需要時間。
三種容易被忽略的表現
- 日誌里同一批 URL 被反复抓取，新 URL 却很少出現。
- 响應時間的中位數不高，但尾部（最慢的那百分之几）非常高，比如動態查询、站内搜尋、带复杂篩選的頁面。
- 特定 UA 或移動端頁面的响應明顯慢于普通訪客，可能涉及渲染、鉴權或区域节点。
按什么顺序排查
- 先看抓取日誌，而不是先看索引报告。索引狀態是结果，日誌才反映過程。先確認抓取频率有没有下降、哪些目錄被抓得最多。
- 統計响應時間的分布。不要只看平均值，把最慢的那部分 URL 挑出来，看它們有什么共同点：模板、參數、資料库查询、外部接口調用。
- 統計狀態碼构成。把 5xx、403、429 和超时分別計數。5xx 多為服務端問题；429 說明存在限速；403 可能是防護策略誤伤。
- 检查是否有防護或限速規則针對抓取 UA。部分站点為防爬做了嚴格限速，结果正常抓取也被一起挡住。
- 確認 CDN、反向代理或负载均衡没有對部分 UA 返回不同结果。返回空頁、驗證頁或不同版本，都會让抓取判断變得混乱。
- 最後再看内容层面。前面几項都正常，再去比較模板占比、近似内容和内鏈入口。
修复後该观察什么
調整之後不要指望立刻變化。抓取频率的調整通常按天甚至按周生效，恢复也是類似节奏。可以盯几個指标：新 URL 的首次抓取時間有没有提前、同目錄下頁面的抓取覆盖是否更均匀、错誤响應的占比是否下降。
另一個容易忽略的点是：把慢頁面變快，通常比把错誤頁面修好更容易看到效果，因為超时和重试是直接消耗額度的。對工具頁、篩選頁、站内搜尋结果頁這類可能产生大量變体的 URL，如果本身不需要收錄，用 robots.txt 或 noindex 降低被反复抓取的價值，往往比让它們不断超时更划算。
抓取和收錄是两件事，但抓取端的基础問题會同时压低两件事的天花板。先让服務器稳定地把頁面交出去，再去谈内容质量。
最後提醒一句：這類排查更适合放在站点整体层面做，單看某一個頁面意义不大。收錄节奏是站点級的現象，多數时候也對應着站点級的原因。