服务器日志是站点运营里最容易被忽略、却最实在的一份数据。搜索蜘蛛什么时候来、抓了哪些 URL、拿到什么状态码、等了多久，日志里都记着。比起靠猜测判断抓取情况，把日志切出来看几天，往往能更快定位问题。

先分清哪些请求来自蜘蛛

日志里混杂着真实用户、监控探针、第三方爬虫和各种扫描器。动手分析之前，先把它们分开。

• 看 User-Agent：主流搜索引擎的 UA 里有固定标识，但 UA 可以伪造，只能作为初筛。
• 做 IP 反查：把访问 IP 反解析回官方域名，或用官方公布的 IP 段比对，这一步能过滤掉大部分冒牌请求。
• 标记已知来源：自家监控、CDN 回源、压测流量先排除，否则会把噪声当成抓取。

分类做好之后，把日志按“搜索引擎蜘蛛 / 其他爬虫 / 真实用户”拆成三份再看，结论会清楚很多。

三个最值得盯的指标

抓取频次

按天统计蜘蛛请求数，再看它落在哪些目录。健康的状态是请求量平稳、且分散在栏目页和内容页上；如果绝大多数请求都堆在列表页或某几个参数页，说明站内链接把蜘蛛引向了低价值区域。

状态码分布

把蜘蛛请求的状态码拉出来，按比例排个序。200 之外的部分，就是需要处理的部分。重点关注 5xx，以及大量的 404 和 301。

响应时间

蜘蛛请求的平均响应时间和 P95 值比真实用户更值得看。抓取窗口有限，如果页面经常几秒才返回，蜘蛛自然会降低访问频率。响应慢的页面通常集中在动态查询、未加缓存的内页，或者依赖外部接口的模块上。

常见的日志信号与处理方向

• 5xx 集中在某个时间段：多半是数据库压力、定时任务或发布流程占用了资源，和抓取本身无关。
• 大量 404 来自蜘蛛：站内死链，或已下线页面仍被内链引用，先修内链再谈重定向。
• 同一个 URL 出现多跳 302：重定向链太长，蜘蛛可能中途放弃，尽量收敛成一跳。
• 抓取集中在少数 URL：内链分布不均，新内容缺少入口，需要补栏目索引和上下篇链接。
• 只在移动 UA 上出现异常：检查是否有只在移动端生效的跳转或拦截规则。

分析节奏与日志留存

日志不需要天天逐条看，但要有固定节奏。建议按周对比，观察抓取总量、状态码比例和响应时间的变化趋势；发现异常再往下钻到具体 URL。

• 保留至少 30 天的原始日志，方便回溯改版前后的差异。
• 图片、CSS、JS 等静态资源请求量大，可以单独统计，不混进页面统计里。
• 把每周的指标记成一张表，趋势比单点数据更有说服力。

日志反映的是已经发生的事，它能帮你发现问题、验证调整效果，但并不能直接决定收录结果。

把日志当成例行检查的一项，和站点地图、内链结构、内容更新放在一起看，抓取和索引上的很多疑问，答案其实早就在日志里了。