為什么建议每周翻一次訪問日誌
後台統計工具给的是抽样後的结果，服務器訪問日誌给的是原始流水。当你想確認某個新栏目有没有被蜘蛛發現、改版後的舊地址是不是還在被反复請求、某天流量骤降是真人少了還是抓取少了，只有日誌能對得上号。建议把它当成一項常規自查，每周固定看一次，不用很细，先看趋势。
先認人：哪些請求是真的搜尋引擎蜘蛛
日誌里的 User-Agent 可以随便伪造，只凭“Baiduspider”這几個字判断並不靠谱。做自查时至少再看一眼来源 IP：把可疑 IP 做一次反向解析，看域名是否落在搜尋引擎官方公布的網段里。常见的假蜘蛛有两類：一類是采集工具伪装 UA 大量抓取正文，會明顯拉高带宽；另一類是掃描器在探测後台路径，會在日誌里留下一串 404 或 403。
- 同一 IP 短時間内請求成百上千個不相關地址，多半不是蜘蛛；
- 只請求登入頁、配置文件、备份包這類路径的，是掃描器；
- 反向解析不出官方域名，但 UA 寫着蜘蛛的，先按可疑處理。
看抓取频次和狀態碼分布
把日誌按天聚合，統計蜘蛛請求總數、獨立 URL 數和狀態碼分布，三個數字放一起看，問题往往自己就冒出来了。
狀態碼能說明的事
- 3xx 占比高：說明站内跳轉鏈太長，或某個入口一直在重定向，蜘蛛每次都要多走一步；
- 4xx 集中在某些路径：說明這些地址已经下线但還有内鏈或外鏈指着它，需要清理或做跳轉；
- 5xx 偶發：多半是超时或資料库压力，抓取高峰时段尤其要留意，连續 5xx 會让蜘蛛降低抓取频次；
- 200 但内容雷同：例如搜尋頁、篩選頁被大量抓取，属于在浪費抓取预算。
URL 發現：日誌和站点地图對照着看
很多人只盯着站点地图里提交了多少條，却不去看蜘蛛實际抓了什么。更有效的做法是反向對照：把日誌里蜘蛛抓取過的 URL 去重，和站点地图、以及站内實际存在的連結比一比。
- 導出最近 7 天蜘蛛抓取的 URL 列表並去重；
- 按目錄前缀分组，看哪些栏目几乎没被抓過；
- 检查這些栏目是否入口太深、内鏈太少，或者被 robots.txt 挡住；
- 再看有没有大量從没在站内出現過的地址被抓，如果有，通常是外鏈或歷史遗留地址。
這份對照表比任何工具报表都直观：哪個栏目是“蜘蛛没發現”，哪個是“發現了但没抓”，哪個是“抓了但没留”，基本能分清楚。
把發現的問题落成待办
日誌自查的产出不该只是一份截图，而應该是几條具体動作。比如：给入口過深的栏目补内鏈、把已下线的舊地址做 301、在 robots.txt 里排除參數化篩選頁、给响應偏慢的接口加缓存。做完之後隔一到两周再翻一次日誌，看看對應路径的抓取次數和狀態碼有没有變化，才算閉环。
提醒一句：日誌只能告诉你蜘蛛来過、抓了什么、拿到了什么狀態碼，它不能保證收錄，也不能保證排名。把它当作發現問题的手段，而不是考核指标，心態會平稳很多。
顺手要做的几件小事
- 日誌按天轮轉並保留至少 30 天，方便回看改版前後的差异；
- 给日誌目錄設定不可通過 URL 直接訪問，避免暴露整站抓取记錄；
- 對明顯異常的 IP 段做限速或封禁，但要留白名單，別誤伤真蜘蛛；
- 做表格化记錄，每期只填几個關键數字，長期看趋势才有意义。