很多站点出問题时，第一反應是去搜尋控制台看报告，但报告往往是延迟匯總過的。真正第一手的信息在服務器訪問日誌里：哪個蜘蛛什么时候来過、請求了什么地址、拿到什么狀態碼、花了多久。学會讀日誌，相当于给自己装了一個抓取监控。
先確認日誌里有哪些字段
不同服務器和 CDN 的日誌格式不一样，但排查抓取問题至少要能看到下面几項，缺哪項就先去补齐。
- 時間：精确到秒，最好带时区，方便和搜尋控制台的抓取統計對齐。
- IP 與 User-Agent：用来判断是不是真蜘蛛，以及区分不同搜尋引擎。
- 請求方法與 URL：完整路径，包括查询參數。
- 狀態碼與响應字节數：字节數為 0 的 200，往往說明返回了空内容。
- 响應時間：区分是慢在應用层還是慢在回源。
按几個维度做統計，而不是逐條看
一天几十萬條日誌，逐條看没有意义。先做粗粒度的分组統計，再针對異常分组下钻。
- 按狀態碼統計：2xx、3xx、4xx、5xx 各占多少，比例是否稳定。
- 按目錄統計：抓取预算花在了哪些栏目上，是不是大量落在标簽頁、搜尋頁、參數组合頁。
- 按時間統計：抓取是均匀分布還是集中在几十分钟内爆發，後者容易压垮源站。
- 按响應時間統計：找出平均值之外的那條長尾，蜘蛛放弃抓取通常就發生在這里。
几個值得警惕的信号
- 單個目錄下大量 404 或 410：說明站内還有連結指向已刪除地址，蜘蛛在反复撞墙。
- 5xx 集中出現：源站不稳定或回源被限流，蜘蛛通常會主動降低抓取频率。
- 同一 URL 被反复請求且返回相同内容：可能是重定向鏈没收敛，或頁面被判定為频繁變化。
- 抓取總量突然下降而站内没有大改動：先查 CDN 規則、防火墙和限流策略是不是誤伤了蜘蛛。
- 出現大量陌生 User-Agent 且請求密集：可能是伪装的采集程序，不要和真蜘蛛混為一谈。
怎么判断蜘蛛是不是真的
User-Agent 可以随便伪造，所以不要只看字符串。常用做法是對来源 IP 做反向 DNS 解析，確認域名归属，再正向解析回去核對是否一致；或者對照搜尋引擎官方公布的 IP 段。國内搜尋引擎同样提供了驗證方式，具体以各自官方文档為准。
如果日誌里某個“蜘蛛”在几秒内請求了上千個不同頁面，且不遵守 robots.txt，基本可以先按異常流量處理，再考虑是否封禁。
把日誌结论變成可执行動作
- 先按影响面排序：影响整站抓取的（5xx、封禁、超时）優先，影响單頁面的往後排。
- 每次只改一處，並记錄改動時間点，方便下一轮日誌做前後對比。
- 改完至少观察一周，看抓取频次、狀態碼分布是否回到正常区間。
- 把關键指标做成固定看板或定时报表，別等出問题才翻日誌。
几個常见誤区
- 只看搜尋控制台的抓取統計：它只覆盖部分搜尋引擎，且有時間延迟。
- 把日誌量当成越多越好：抓取量高但都落在無價值頁面上，並不是好事。
- 日誌儲存周期太短：出問题时往往已经被滚動覆盖，建议至少保留 30 天，並做冷备。
日誌本身不會直接提升排名，但它能告诉你蜘蛛到底在做什么、卡在哪里。把日誌纳入日常巡检，很多抓取問题會在變成事故之前就被發現。