为什么入口页的日志值得单独看
蜘蛛池跑起来之后，大多数人第一反应是去看收录量。但收录是个滞后指标，受很多因素影响，出了问题往往分不清是池子的原因还是目标页的原因。相比之下，服务器上的访问日志是实时的、具体的：谁来了、几点来的、请求了哪个 URL、拿到什么状态码，都能看到。把日志当成体检报告，比盯着收录量猜原因要靠谱得多。
先确认日志里有哪些字段
不同服务器软件、不同面板输出的格式不一样，先确认字段是否齐全，再看数据。
- 时间戳：注意服务器时区，国内机器多为 UTC+8，海外机器常见 UTC，时区没对齐会把抓取时段判断错。
- 来源 IP：用来判断网段集中度。
- User-Agent：识别蜘蛛的第一道线索，但只能作为线索。
- 请求 URL：区分是入口页、跳转层还是目标页。
- 状态码：200、301、302、404、5xx 各占多少。
- 响应大小与响应时间：太大或太慢的页面，蜘蛛往往来得少。
- Referer：能看到蜘蛛是从哪个页面跟过来的。
如果站点前面挂了 CDN，源站日志里可能只有回源记录，蜘蛛的访问被打散甚至被合并。这种情况下要额外导出 CDN 的访问日志，否则结论会偏。
怎么把蜘蛛访问筛出来
第一层：UA 关键词
按 Googlebot、Bingbot、Baiduspider 等关键词过滤，是最快的做法，能拿到一个粗略的量级。
第二层：验证真伪
UA 可以伪造，所以只能作为初筛。常见做法是反查 IP 归属，或者用搜索引擎官方提供的验证方式核对。如果一批“蜘蛛”来自同一台廉价 VPS、请求路径高度一致、访问节奏机械，基本可以判定是伪蜘蛛或普通采集器。
第三层：看行为
真蜘蛛通常有相对固定的抓取节奏，会跟随跳转、会取 robots.txt、会按链接逐步扩展。如果某个 UA 只盯着一个 URL 反复刷，多半不是正常抓取。
日志里几个值得长期盯的观察点
- 入口页有没有被抓。如果入口页连续多天零访问，先查 robots、状态码、解析和防火墙，而不是急着加内容。
- 跳转有没有被跟随。入口页有访问，但跳转后的目标页在日志里完全没出现，说明蜘蛛没有跟下去，就要回头看跳转方式的兼容性。
- 状态码分布。404 和 5xx 的占比是硬指标，任何一个偏高都说明池子在漏。
- 抓取间隔与时段。抓取集中在某个时段，可能是服务器响应时间或带宽在其余时段拖了后腿。
- 抓取路径的广度。如果日志里翻来覆去只有首页和几个固定页，说明内链没有把蜘蛛带到更深的层级。
容易看错的地方
- 把总量当质量。蜘蛛来访次数涨了，但请求的都是无关路径，意义不大。
- 只统计一次就下结论。抓取本身有波动，建议按周看趋势，而不是看某一天的曲线。
- 忽略日志采样。有些环境默认只记录部分请求，据此算出的比例会失真。
- 把非搜索引擎的爬虫一起算进去，造成“抓取很活跃”的错觉。
- 只看 UA 不看 IP，把伪造流量当成真实抓取。
一套简单的落地做法
不需要复杂系统，按下面几步就能跑起来：
- 日志至少保留 30 天，有条件保留 90 天，方便做同期对比。
- 每天跑一次脚本，聚合出蜘蛛访问量、入口页覆盖数、状态码分布、目标页被访问数几个指标。
- 把入口页按批次分组，对比不同批次的抓取情况，能看出哪一批表现更差。
- 对 5xx 和连续零访问设置告警，发现异常先排查技术问题，再考虑内容层面的调整。
日志反映的是“蜘蛛来过、请求过什么”，它不等于目标页会被收录，也不代表排名会有变化。日志的价值在于帮你更快定位问题，而不是替代对内容和站点整体质量的判断。