服務器日誌通常默默躺在硬盘里，只有在站点打不開、CPU 跑满的时候才會被翻出来。其實對站点运营来说，訪問日誌是一份持續更新的“現场记錄”：哪些 URL 被蜘蛛抓過、哪些頁面反复返回 404、哪些參數组合被大量請求，都能在日誌里找到痕迹。與其凭感觉調整栏目和内容，不如先花半小时看看日誌。
先確認日誌格式和保留周期
不同服務器和 CDN 的日誌格式不一样，常见的有 Nginx 預設 combined 格式、Apache 的 common 格式，以及各類面板加工過的格式。先確認日誌里是否包含請求時間、客戶端 IP、請求方法、URL、狀態碼、User-Agent 和来源頁。如果缺少 User-Agent，就很难区分蜘蛛和普通訪客。
保留周期也很重要。只留三天日誌，只能看到最近波動；留三個月以上，才能观察抓取频率的長期變化。建议至少保留 30 天，重要站点可以保留 90 天或更久，並注意日誌文件本身的磁盘占用。
重点看哪几類记錄
蜘蛛抓取记錄
用 User-Agent 過滤出常见蜘蛛，比如百度、谷歌、必應等。不要只看總抓取量，還要看抓取的是哪些 URL。如果大量抓取集中在标簽頁、篩選頁、分頁參數上，而核心内容頁抓取很少，說明站内連結结构或 URL 發現方式可能把蜘蛛引偏了。
404 和 5xx 狀態碼
404 集中出現通常意味着連結寫错、頁面被删但入口没清理，或者外部連結指向了不存在的地址。5xx 則要優先排查服務器和程序問题。把出現次數最多的 404 URL 列出来，逐個確認是保留、重定向還是彻底移除。
抓取频率異常
如果某個目錄或參數组合在短時間内被反复抓取，可能是站内連結過多、分頁逻辑有問题，或者蜘蛛陷入了循环。可以结合 robots.txt、canonical 和站内連結一起检查。注意不要因為频率高就直接封禁，先判断這些 URL 是否有真實價值。
從日誌里發現 URL 問题
日誌里经常會出現带一堆參數的 URL，比如排序、篩選、追踪參數。這些地址如果返回 200 且内容與主頁面相同，就容易造成重复抓取。可以統計同一路径下參數组合的數量，如果數量遠超實际内容量，就要考虑用 canonical、robots.txt 或參數處理規則来收敛。
另外，注意日誌中是否存在大量大小寫混用、带 www 和不带 www 混用、http 和 https 混用的情况。這些往往是規范化没做彻底的表現，蜘蛛和訪客可能在不同版本之間来回跳轉。
日誌分析不是為了追求漂亮报表，而是為了在調整栏目、改版或更新内容之前，先知道蜘蛛和訪客實际在做什么。
用日誌驗證站点结构改動
每次調整栏目层級、内鏈布局或站点地图後，可以對比改動前後的日誌。重点看新頁面多久被首次抓取、舊入口是否還在被訪問、404 是否增加。如果改動後蜘蛛抓取量明顯下降，先检查是否誤屏蔽了重要目錄，或者站内連結是否被大量移除。
几個容易忽略的细节
- 日誌里的時間可能是服務器时区，和本地時間對不上，分析前先確認时区。
- CDN 日誌和源站日誌可能重复记錄，合並統計时要去重。
- 蜘蛛的 User-Agent 可以伪装，不要只凭 UA 判断，要结合 IP 和訪問行為。
- 分析频率不用太高，每周或每两周一次即可，重点是持續观察趋势。
把日誌分析养成固定動作，不需要复杂工具，用命令行過滤加表格統計就能完成大部分工作。關键是別让日誌只占硬盘，让它帮你回答“蜘蛛到底在抓什么”這個問题。