收錄出問题时，多數人第一反應是打開索引狀態报告。但這份报告只给结果：已發現、已抓取、未收錄。它不會告诉你搜尋引擎到底把抓取预算花在了哪些目錄上。想看過程，服務器日誌更直接——每一條蜘蛛訪問都带着 URL、狀態碼、時間和 UA。
日誌能回答索引报告回答不了的問题
报告會说“已抓取，未编入索引”，但不會说這個 URL 被反复抓了三十次。日誌可以。当你把一段時間内的抓取记錄按目錄聚合，往往會看到非常不均衡的分布：首頁、列表頁、詳情頁、參數頁、归档頁各自被訪問的次數，可能差出好几倍。
這種分布本身就是信号。抓取集中的地方，說明入口多、内鏈强；長期空白的目錄，說明搜尋引擎既没從 sitemap 也没從内鏈發現它，或者發現了但判断不值得再来。
動手前先做三件事
- 驗證 UA。別看 UA 字符串里有“bot”就当真，這個字段能伪造。條件允许的话做反向 DNS，或對照官方公布的 IP 段。
- 保留完整 URL。只记路径會把带參數的頁面混在一起，後面分不開。
- 取够時間窗。至少覆盖四周，小站可以拉長到两三個月，避免把偶發波動当成趋势。
按目錄聚合，看几個指标
- 每個目錄的抓取次數和占比；
- 狀態碼构成：200、304、301、404、5xx 各占多少；
- 平均响應時間，以及最慢的那一批 URL；
- 被抓 URL 的去重數量，而不是總請求數。
最後一項容易被忽略。總請求數高，可能只是同一批頁面被反复抓，並不代表覆盖面广。用去重 URL 數除以目錄里的實际 URL 數，才更接近“這個目錄被掃了多少”。
三種常见的分布形態
集中在少數新頁面
通常是正常現象，新内容有入口、更新频繁。要確認的是老頁面有没有被彻底遗忘。
集中在老頁面反复抓取
常见于列表頁、篩選頁、分頁參數。這些 URL 狀態碼正常，但内容變化极小，蜘蛛一次次来，产出却很低。處理方向是收敛入口：能合並的合並，该規范化的規范化，该屏蔽的屏蔽。
集中在返回错誤的頁面
大量 5xx 或超时會明顯拖慢整站的抓取节奏。先修後端和缓存，再谈收錄。
和 sitemap、内鏈對照着看
把 sitemap 里提交的目錄和日誌里真正被抓的目錄並排放到一起，差异就是线索：提交了但没人抓，多半是站点整体抓取優先級的問题；没提交却抓得很勤，說明内鏈在替 sitemap 干活。两種都不算坏事，但你需要知道哪條路径在起作用，否則調整时會誤判因果。
日誌說明的是抓取行為，不是收錄结果。一個 URL 被抓很多次仍然没進索引，問题多半在内容质量、重复程度或規范标簽上，而不是抓取次數不够。
可以固定下来的月度自查
- 導出日誌並按 UA 過滤，按目錄聚合；
- 标出零抓取的目錄，逐個检查是否有内鏈入口；
- 标出高频抓取但内容几乎不變的 URL，评估是否收敛；
- 統計 4xx、5xx 占比，超過阈值就排優先級修；
- 把结论和索引狀態报告對照，分成“抓了没收”和“没抓也没收”两類，分別處理。
做上几個月，你會對自家站点的抓取节奏有個基本体感。這比每次都從索引报告倒推原因要省事得多。