站点被訪問的记錄，是判断抓取状况最直接的一手材料。Sitemap 里放了多少條、工具後台提交了多少 URL，都只是「告诉蜘蛛這里有什么」；而服務器訪問日誌记下来的是「蜘蛛實际走了哪些地址、拿到了什么结果」。两者對照着看，很多關于抓取的問题才有答案。
日誌回答的是「實际發生了什么」
搜尋抓取這件事，能控制的部分是入口和路径，不能控制的部分是蜘蛛什么时候来、来几次。日誌恰好落在中間：它记錄的是已经發生的事實。定期翻一翻，往往比每天盯着抓取量曲线更容易發現具体問题，比如某個目錄突然整片變成 404，或者某類頁面迟迟没有任何訪問记錄。
先分清来訪的到底是谁
日誌的 User-Agent 一栏经常混着各種爬虫，直接按 UA 統計很容易得出错誤结论。
- 搜尋蜘蛛：主流搜尋引擎的爬虫标识相對固定，但 UA 本身可以伪造。要求嚴格的场景，可以配合反向 DNS 校驗，確認来源确實属于该搜尋引擎。
- 第三方工具與 AI 爬虫：SEO 工具、站点监控、内容采集類爬虫也會频繁訪問，它們不代表搜尋抓取行為。
- 内部訪問與回源：CDN 回源、内網监控、压力測試产生的记錄要排除，否則抓取量會被明顯高估。
把這几類拆開之後，再去統計訪問频次和 URL 分布，資料才有參考價值。
值得记錄的几類字段
- 時間：判断抓取是否集中在某個时段，是否與备份、發布任務撞在一起。
- URL：看蜘蛛走到了哪些目錄、层級如何，哪些入口長期没有记錄。
- 狀態碼：5xx、3xx、404 的占比能直接反映路径质量。
- 响應体积與耗时：体积異常小的 200，可能是空頁面或软 404。
- Referer：多數蜘蛛不携带，但偶尔能看出它是從哪個頁面走過来的。
從狀態碼分布看路径問题
5xx 偏多
說明抓取過程中服務器频繁失敗。這類记錄常常集中在某几個接口或某一類動態頁面，原因可能是超时、資料库压力或並發限制。抓取失敗本身就會让蜘蛛降低後續訪問频率。
3xx 偏多
大量跳轉通常来自舊路径没有清理、尾斜杠與大小寫寫法不统一，或者协议與主域名没有归一。每跳一次，就多消耗一次請求。
404 與 200 空頁面
404 记錄里如果出現大量曾经有效的路径，多半是改版或删内容之後没有做跳轉。反過来，返回 200 但响應体积明顯偏小的頁面，要抽查是不是内容為空。
抓取分布能看出入口够不够
把日誌里的 URL 按目錄归拢，通常會看到明顯的集中：首頁、列表頁、被外鏈指向的頁面被反复訪問，深處的栏目頁几乎没有记錄。這时問题大多不在蜘蛛，而在站内入口的位置和數量。给這些目錄补上更靠前的内鏈入口，比反复提交 URL 更有效。
几個容易踩的誤判
- 把日誌條數直接当成抓取量。日誌可能只保留几天，或者 CDN 层做過采样。
- 只看總次數，不看 URL 去重後的數量。一個頁面被訪問一千次，和一千個頁面各訪問一次，含义完全不同。
- 忽略慢請求。耗时很長但最终返回 200 的頁面，同样會拖慢整体抓取节奏。
看完之後可以做的事
- 清理日誌里反复出現的 404，能跳轉的做 301，確認不再使用的返回 410。
- 检查被抓取的 URL 里有没有測試頁、參數组合頁、後台路径，需要屏蔽的用 robots 規則處理。
- 把响應時間明顯偏長的頁面列出来，逐項排查。
- 對長期没有抓取记錄的目錄，补内鏈入口或調整導航层級。
- 把日誌结论和 Sitemap 對照，看提交的 URL 與實际被抓的 URL 差在哪里。
日誌不會直接给出结论，它只提供證據。把它變成定期检查的习惯，比临时寻找某個「技巧」更接近稳定的抓取狀態。