服務器上的 access log 是蜘蛛抓取最原始的證據。它不经過工具加工，记錄的是真實發生過的請求。相比各種後台报表，日誌更接近“蜘蛛到底做了什么”，但前提是你會看，也看得下去。
日誌里到底有哪些字段
常见的 Nginx、Apache 日誌格式，一行就是一次請求，核心字段大致包括：
- 請求時間與时区
- 客戶端 IP
- 請求方法、完整 URL（含參數）
- HTTP 狀態碼
- 返回的字节數
- User-Agent 與 Referer
- 部分配置下還會记錄响應耗时、上游地址
其中 Referer 和响應耗时经常被忽略，但它們恰好是判断抓取路径和服務器稳定性的關键。如果目前日誌格式里没有耗时字段，值得在配置里补上。
先確認哪些請求是蜘蛛發出的
按 User-Agent 過滤只能算第一步。UA 可以伪造，所以通常要结合 IP 段或反向解析来交叉確認。日常分析里可以先用 UA 捞出一個大集合，再观察這些請求的行為是否合理：只抓 HTML 還是會請求静態资源、請求間隔是否稳定、是否集中在站点的可訪問路径上。行為異常的“蜘蛛”往往比 UA 更容易暴露。
几個值得反复看的信号
抓取频次與時間分布
把日誌按小时或按天匯總，能看出蜘蛛的抓取节奏。突然放量、突然归零、只集中在某几個目錄，都是有意义的信号。归零不一定是蜘蛛不来了，也可能是服務器返回了错誤、被 WAF 拦截，或者 robots.txt 临时不可用。
狀態碼分布
把狀態碼按 URL 分類統計：
- 200 集中在哪些目錄，是否包含大量無價值頁面
- 301/302 是否成鏈，跳轉次數是否偏多
- 404 是否来自站内舊連結或错誤内鏈
- 5xx 集中在哪個時間段、哪些 URL
- 403/429 是否来自防護策略或限速
5xx 和 403 的占比上升时，先排查服務器和防護配置，再谈内容優化。
响應時間與返回字节數
同一個模板下的頁面，响應耗时和字节數應该比較接近。如果某個目錄明顯更慢、更大，通常意味着查询复杂、图片未压缩，或者頁面被塞了過多脚本。蜘蛛在單位時間里能抓多少，和這两項直接相關。
蜘蛛訪問了你没打算让它訪問的 URL
日誌里经常出現带一堆參數的地址、測試环境域名、分頁過深的頁面。這些請求會消耗抓取額度，也會带来重复内容。發現後要么用規范連結和内鏈收敛，要么用 robots.txt 或 noindex 處理。
用 Referer 反推 URL 發現路径
Referer 记錄的是蜘蛛上一個請求的頁面。把它和目前 URL 连起来看，就能拼出蜘蛛在站内的行走路线：從首頁到栏目頁、從列表頁到詳情頁、從詳情頁跳到相關推荐。這條线能回答两個問题——重要的頁面是不是有正常入口，以及是否有很多 URL 只靠 Sitemap 才發現、站内没有任何連結指向它。
如果一批頁面長期只在 Sitemap 請求里出現，而在日誌里看不到来自其他頁面的 Referer，通常說明内鏈结构需要調整。
從日誌到行動的常见處理顺序
- 先處理 5xx 和频繁超时，保證服務器稳定
- 再看 403/429，確認防護策略没有誤伤正常抓取
- 整理 404 的来源，修掉错誤内鏈和失效跳轉
- 統計被抓取最多的目錄，判断是否與站点重点一致
- 最後才是内容與内鏈的優化
日誌分析不必天天做，但要有固定周期。可以按周導出一次，比較同期的抓取量、狀態碼比例和响應耗时，看趋势比看單日資料更有意义。工具只是辅助，真正有價值的是你愿意為這些數字做出哪些具体修改。