聊蜘蛛抓取，多数人先去看后台报表。报表好用，但它是加工过的二手数据，滞后、聚合、颗粒度粗。真正原始的一手记录在服务器日志里：蜘蛛几点来、要了哪个 URL、服务器回了什么、返回多少字节、花了多少毫秒，全都在。学会读日志，很多“抓取好像不太对”的猜测就能落地成几条具体记录。
先弄清楚日志里哪些字段有用
不同服务器格式不一样，但下面这几列基本都有，读抓取情况主要靠它们：
- 请求 IP 与 User-Agent：判断是不是搜索蜘蛛，以及是哪一家。
- 访问时间：看抓取的时间分布与频率。
- 请求方法与 URL：GET 还是 HEAD，抓的是页面还是图片、CSS、JS。
- 状态码：200、301、404、5xx，一次抓取里各占多少。
- 响应字节数：返回 200 但字节数异常小，值得警惕。
- 响应时间：慢在哪个环节，日志里能看出大概。
- Referer（如果有）：有时能看到蜘蛛是从哪个页面跳过来的。
别只信 UA，先做一次身份核对
User-Agent 是可以伪造的。做日志分析前，先确认筛出来的是真蜘蛛。常见做法是拿 IP 段去官方公布的范围里核对，或者对少量 IP 做反向 DNS 查询，看域名是否落在官方域下。这一步不做，后面所有结论都可能建立在被刷的假流量上。
从日志里能读出的三件事
一、抓了什么，以及漏了什么
把一段时间内蜘蛛请求过的 URL 去重，再和站点实际的 URL 总表对比。差集就是“蜘蛛没来过的部分”。这批 URL 里，有的是孤儿页面，有的被 robots 挡住，有的虽然在 Sitemap 里却没有任何内链指向。哪一类占多数，决定先修哪里。
二、拿到的是什么
统计蜘蛛请求的状态码分布。理想情况是绝大多数 200 加少量 304。如果 3xx 占比很高，说明站内大量链接指向了会跳转的 URL，蜘蛛每次都要多走一步；如果 4xx 集中在某个目录，多半是某处模板输出了失效链接；如果 5xx 时不时出现，那就是服务器稳定性在拖抓取的后腿。
三、走的路径和频率
按时间排序，单看一个蜘蛛 IP 的请求序列，能还原它这一趟的走法：从哪个页面进来，先抓了什么，往哪个目录深入。如果发现它总在同一批 URL 上反复往返，或者深度到第二层就停住，那通常不是蜘蛛懒，是站内路径在那里断了。
几种典型的日志形态，对应不同问题
- 某个目录下大量 404，且 Referer 集中在同一个页面——模板里有失效链接。
- 同一 URL 短时间内被高频请求，状态码全是 5xx——服务器扛不住，蜘蛛在重试。
- 列表页抓得很勤，详情页寥寥——列表到详情的链接太弱、太深。
- 大量 URL 只在 Sitemap 里出现，日志中从无记录——这些 URL 缺少内链入口。
- 返回 200 但字节数长期很小——可能是空内容或软 404 的伪装。
动手分析的几个步骤
- 先把非蜘蛛流量过滤掉，只留经过核对的目标蜘蛛记录。
- 按天或按周切片，别把一整年的日志混在一起看，趋势会被平均掉。
- 统计状态码分布、URL 去重数、单日请求量三条基础曲线。
- 挑几个异常目录，按时间还原访问序列，看蜘蛛怎么走到这里。
- 把结论落成具体改动：修链接、改 robots、补内链、加缓存或调服务器。
- 改完观察同一批指标的下一周期变化，用日志验证，而不是凭感觉。
日志是抽样，不是全貌。蜘蛛不会把每个 URL 的每次访问都写进你能看到的文件里，压缩、轮转、CDN 层都可能让记录不完整。做判断时留点余地，别拿一天的日志给整站定性。
日志分析解决不了的事
它能告诉你蜘蛛来过、拿了什么、走得顺不顺，但不能保证某个 URL 一定被收录，也不能替你决定内容好不好。把日志当成体检报告：指标异常时指向可能的问题，改完之后看指标有没有回来。至于收录和排名，那是另外一整套变量的事。
如果站点不大、日志量不多，每周花半小时导出一次，看看状态码和访问量两条线就够了。真正有价值的不是分析得多深，而是发现问题之后改得够快。