很多站点运营者判断抓取情况，习惯只看站長平台里的抓取統計。那個數字能說明總量，但很难回答一個更具体的問题：蜘蛛到底沿着哪條路径進来的，又卡在了哪一步。服務器訪問日誌和抓取日誌，是回答這個問题的原始材料。

先分清两類日誌

服務器訪問日誌记錄每一次請求，字段通常包括時間、IP、UA、路径、狀態碼、响應字节和耗时。抓取日誌則来自搜尋平台，侧重展示抓取频次、响應结果和部分 URL 示例。两者视角不同：前者是服務器侧的全量记錄，後者是平台侧的抽样匯總。核對时，建议以服務器日誌為主，用平台資料做交叉驗證。

日誌里值得重点看的字段

• UA 與驗證：先確認訪問者是不是真正的搜尋蜘蛛。反向 DNS 或 IP 段驗證能過滤掉伪装爬虫，避免把噪声当成抓取資料。
• 請求路径：看蜘蛛優先訪問了哪些目錄，哪些目錄几乎没有记錄。
• 狀態碼分布：200 是正常抓取，301/302 是跳轉，404/410 是失效，5xx 和服務端超时則意味着抓取被中断。
• 响應耗时與字节數：耗时突然拉長、返回字节異常偏小，往往對應動態渲染失敗或接口抽風。
• referer 與来源路径：部分日誌會记錄来源，能帮助還原蜘蛛是從内鏈、Sitemap 還是外鏈進入的。

用日誌還原一條抓取路径

單條记錄看不出路径，把同一 IP 或同一 UA 的连續請求按時間排列，就能拼出一條线索。常见的健康路径是：蜘蛛先請求首頁或栏目頁，再顺着導航和内鏈進入詳情頁，最後請求静態资源。如果日誌里大量出現直接請求詳情頁、不請求任何列表頁的情况，說明入口可能来自 Sitemap 或外部連結，内鏈传導没有發挥作用。

還要留意只抓入口、不進二級的模式。這種模式通常意味着入口頁的連結不可见，或者連結被 JS 渲染、被 nofollow、被 robots 規則挡住。

和 Sitemap、内鏈做交叉核對

把 Sitemap 中的 URL 列表與日誌里實际被抓取的 URL 列表做差集，可以分成三類：已提交且被抓、已提交但未抓、未提交却被抓。第一類說明通路正常；第二類要检查 Sitemap 是否被正确讀取、URL 是否被 robots 拦截、頁面是否長期返回異常；第三類則說明内鏈或外鏈的發現能力比 Sitemap 更强，值得保留和加强。

内鏈核對可以更细：導航連結、正文連結、頁脚連結的抓取频次往往不同。用日誌統計不同位置的連結被跟随的比例，能看出蜘蛛更信任哪類入口。

服務器稳定性會扭曲日誌结论

如果某段時間 5xx 或超时记錄突然增多，抓取频次通常會随之回落，這不是蜘蛛不喜欢你了，而是它在降低請求压力。此时先修服務，再谈抓取優化。日誌中的响應時間也要结合缓存层看：CDN 命中时蜘蛛拿到的是缓存版本，回源时才是真實源站狀態，两者不一致會让抓取判断出現偏差。

观察周期與常见誤判

• 不要用一天的資料下结论，抓取有波動，至少观察一到两周。
• 不要把平台抓取統計的下降直接等同于惩罚，先排查服務端異常和 robots 變更。
• 不要忽略日誌轮轉和采样，部分环境只记錄部分請求，样本不全會導致路径判断失真。
• 不要只盯着 URL 數量，抓取深度和狀態碼质量同样重要。

抓取日誌的價值不在于證明被收錄了，而在于發現哪一段路径断了、哪一類响應拖慢了整体节奏。

把日誌、Sitemap 和内鏈放在一起看，形成固定的核對清單，再配合稳定的服務器响應，URL 發現和抓取效率才更容易保持在可控范围内。