很多站点把服務器日誌当成出故障时才翻的排错工具，平时任其滚動覆盖。其實日誌里藏着搜尋蜘蛛最真實的訪問记錄：它几点来、来過多少次、抓了哪些地址、拿到的是 200 還是 404、响應花了多久。把這些记錄定期看一遍，比凭感觉猜抓取情况要靠谱得多。
第一步：先確認日誌拿得到、留得住
不同环境的日誌位置不一样，先弄清楚自己的：
- Nginx：通常在 /var/log/nginx/ 下，按站点或按域名分文件；
- Apache：access_log 與 error_log 分開，注意虚拟主机配置里的路径；
- 宝塔等面板：一般在網站日誌入口，可下载或按天查看；
- 套了 CDN 或反向代理：源站日誌可能只有回源請求，蜘蛛的真實訪問在 CDN 侧的日誌里，需要去那邊取。
還要定一個保留周期。日誌按天切割、至少留 30 天，才有办法對比“這周和上周有什么變化”。如果磁盘紧張，可以只保留訪問日誌中的關键字段，或定期導出压缩包另存。
關键字段：先看這几列
日誌一行里字段很多，自查阶段不必全看，重点盯這几列：
- 時間：判断抓取是否集中在某個时段；
- UA（User-Agent）：区分不同搜尋引擎的蜘蛛，也用来识別伪装爬虫；
- URL 與狀態碼：抓了什么、结果如何；
- 响應字节數與耗时：大頁面、慢接口往往在這里露头。
從记錄里能看出什么
狀態碼分布是否正常
把蜘蛛請求按狀態碼分组統計。健康情况下以 200 和 304 為主。如果 404 占了很大比例，說明站内還有一批失效地址在持續消耗抓取；如果 5xx 反复出現，先查服務器和應用，別急着改内容；如果出現大量连环跳轉，那說明跳轉鏈條需要梳理。
抓取集中在哪些地址
統計被訪問次數最多的 URL。常见有两種情况：一種是列表頁、篩選頁、带參數的搜尋頁被反复抓，正文頁反而很少；另一種是几個栏目頁撑起大部分抓取。前一種要考虑给參數頁加限制或收敛入口，後一種要检查内容是不是更新太慢、内鏈是不是没把蜘蛛引向新内容。
重要頁面有没有被訪問過
把核心栏目和近期新發布的頁面整理成一份清單，去日誌里搜一遍。如果新頁面在發布後較長時間内一次都没出現，問题通常不在内容本身，而在入口：没有内鏈指向、没有進站点地图、所在目錄层級太深，或者被某條規則挡住了。
蜘蛛類型與频次
不同搜尋引擎的蜘蛛来訪节奏不同。同时要留意两類異常：一是某個 UA 的請求量遠超正常水平，可能是采集或压测；二是“自称蜘蛛”但訪問路径杂乱、频率机械的請求，可以用反向解析或官方 IP 段核對。核對之後，再决定是限速還是直接拒绝。
几個容易踩的坑
- 只看總量不看结构：總請求數涨了不代表抓取變好，可能是無效地址變多了；
- 用第三方工具替代日誌：工具方便，但采样和口径各不相同，遇到争议时還是要回到原始日誌；
- 忽略日誌体积：大站日誌增長很快，提前配好切割和清理，別等磁盘满了才處理；
- 把 IP 当身份：同一 IP 可能承载多種請求，判断身份要结合 UA 與反向解析；
- 忽视合規：日誌里含訪問者 IP 等信息，導出、共享和保留期限要符合自身合規要求。
把自查變成固定動作
不必每天都细看，可以分两层：每天掃一眼狀態碼里的 5xx 和突增的 404；每周抽一次完整日誌，看看抓取排名前十的地址、新頁面有没有被訪問、跳轉鏈條有没有變長。记錄下每次的结论和改動，下次對比时才有參照。
日誌是结果，不是原因。看到異常先問三件事：是不是入口變了、是不是規則拦了、是不是服務器慢了。找到原因再動手，比反复提交地址有效得多。
最後提醒一句，日誌自查解决的是“看得见”的問题。它不會让頁面自動被收錄，也不保證排名，但能帮你把明顯浪費抓取、挡路的地方先清理掉，让後續的运营動作更有针對性。