站長平台提供的抓取資料通常有延迟，也经過聚合；想弄清搜尋蜘蛛實际訪問了哪些地址、拿到的是哪種狀態碼，最原始的记錄還是服務器日誌。日誌不會直接告诉你收錄结果，但它能帮你判断抓取是否顺畅、哪些地址在被反复消耗。

先確認日誌有没有被中間层截断

如果站点前面有 CDN、WAF 或反向代理，源站日誌里记錄的可能是代理节点的 IP，而不是訪客或蜘蛛的真實 IP。這时候只看日誌會得出错誤结论。

• 检查日誌中的客戶端 IP 字段，是否只有少數几個固定值反复出現。
• 確認配置是否记錄了 X-Forwarded-For 或 X-Real-IP 等轉發头，並明确取值規則。
• 如果日誌格式被中間层改寫過，先和运维確認字段含义，再開始分析。

分辨哪些請求真的是搜尋引擎蜘蛛

User-Agent 只能作為初步篩選，它很容易被伪造。把伪造的請求当成真蜘蛛，會誤判抓取压力；反過来把真蜘蛛当成攻击流量拦下，也會影响 URL 發現。

• 用官方公布的蜘蛛 IP 段做比對，而不是只看 UA 字符串。
• 抽样對高频 IP 做反向解析驗證，確認归属。
• 對声称是蜘蛛但行為異常、比如高频抓取動態接口的請求單獨标记观察。

看狀態碼分布，找出被浪費的抓取

把日誌按狀態碼匯總，是最快看到問题的方式。重点看 404、3xx、5xx 三類占了多少。

• 大量 404：内鏈、sitemap 或外鏈指向了已下线地址，蜘蛛反复白跑。
• 大量 301/302：可能存在跳轉鏈，或同一内容通過多個地址被訪問。
• 5xx 集中在某個时段：多半是應用或資料库的問题，蜘蛛遇到错誤會降低抓取频率。
• 返回 200 但内容是空壳或提示頁：属于软 404，需要單獨處理。

看抓取频次與訪問路径

频次突然下降，通常和响應變慢、错誤率升高或抓取規則調整有關，可以對照近期的變更记錄排查。路径分布則反映站内结构是否合理：如果訪問高度集中在首頁和少數栏目，深层頁面几乎没有被訪問，往往說明内鏈不足或层級過深。

另外可以留意蜘蛛是否在同一组带參數的地址上打轉。反复抓取無實际内容的组合地址，會占用本可以用在有效頁面上的額度。

日誌留存與轮轉

日誌覆盖太快，出了問题就無從回溯。建议按天切分並保留足够周期，例如 30 天以上，压缩归档後再清理。同时注意日誌中可能包含用戶标识等敏感信息，不要随意公開或長期裸露在可訪問目錄下。

一份可执行的自查清單

1. 確認日誌记錄的是真實来源 IP，轉發头配置正确。
2. 用 IP 段和反向解析驗證蜘蛛身份，不只看 UA。
3. 統計狀態碼分布，定位 404、跳轉鏈和 5xx 的集中来源。
4. 對比抓取频次變化，與近期的服務器、規則、结构變更對照。
5. 检查抓取路径是否只停留在浅层，深层内容是否被遗漏。
6. 確認日誌保留周期和轮轉策略，保證事後可回溯。

日誌能說明蜘蛛来過哪些地址、拿到了什么响應，但不能保證這些頁面會被收錄或获得排名。把它当作排查和驗證的工具，而不是结论。