為什么要按层讀，而不是逐條看

不少站長打開日誌就開始搜自己的目标 URL，翻了几頁没找到，就下结论说“蜘蛛不来”。日誌動辄几十萬行，逐條看既看不出趋势，也容易把偶發当成常態。更實用的做法是先分层：狀態碼看健康度，路径看分配是否合理，频次看是否跟得上更新节奏。三层看完，問题基本能落到具体位置。

第一层：狀態碼分布

把日誌按天匯總，分別統計 2xx、3xx、4xx、5xx 的占比，重点看變化趋势，而不是某一個绝對數值。

• 5xx 抬头：先查服務器與上游服務。蜘蛛遇到连續错誤通常會主動降频，恢复訪問节奏需要一段時間。
• 4xx 變多：常见原因是内鏈指向了已刪除頁面、舊連結没有收尾，或者模板批量生成了無效地址。
• 3xx 長期偏高：說明站内存在大量跳轉入口，抓取時間被消耗在跳轉路上。

除狀態碼外，還要留意返回内容明顯偏小或為空的记錄，這類往往是软 404 或只加载了一半的頁面。

第二层：路径归類

把 URL 按目錄前缀或頁面模板分组，統計每组的抓取次數，這一步能看清蜘蛛的時間花在了哪里。

1. 列表頁、翻頁、篩選參數這類入口型頁面，抓取量是否高得反常；
2. 真正有内容價值的詳情頁，是否有稳定的抓取记錄；
3. 是否存在只被抓過一次、之後再也没有回訪的孤岛路径。

归類粒度不必太细，能区分内容頁、列表頁、參數頁、静態资源和接口地址就够了。分完组再對照内鏈结构和 sitemap，通常能直接找到偏差来源。

如果某類頁面長期零抓取，先確認它是否有可被跟随的站内入口，再检查是否被規則或參數拦截，不要急着归因于“蜘蛛不重视”。

第三层：回訪频次

挑一批有代表性的 URL，看它們两次被抓之間隔了多久，以及每次抓取是否拿到了新版本。频次高但内容没變，說明更新信号不准确；频次极低而頁面确實在更新，說明入口或 sitemap 的提示不够。

抓取频次是结果，不是能單獨調的目标。它由站点整体质量、更新节奏和服務器响應共同决定。

几個容易讀错的地方

• 按 UA 過滤时要寫全，同一蜘蛛可能存在多個 UA 變体，漏掉會低估抓取量。
• 日誌預設时区未必與本地一致，做跨天統計前先统一口径。
• CDN 或反向代理日誌记錄的可能是邊缘节点信息，與源站日誌合並时要先去重。
• 抓取次數多不等于收錄情况好，這两件事需要分開判断。

讀完日誌要落到動作

把结论整理成一份短清單，每一項都要能對應具体操作：修掉持續返回 5xx 的接口、清理指向死鏈的内鏈、收敛没有意义的參數入口、给重要頁面补充站内入口、按真實更新時間维護 sitemap 的 lastmod。

改完之後隔一到两周，再用同一口径讀一次日誌，對比狀態碼分布和各類路径的抓取量變化。這種前後對照，比凭感觉判断問题有没有解决要可靠得多。