为什么单独看入口页日志
蜘蛛池入口页的访问日志，记录的是蜘蛛实际来过、请求了什么、拿到了什么结果。它不能替代站点监控，但很适合做事后复盘。尤其当入口页数量多、目标页分散时，日志比凭感觉判断更可靠。
先确认日志字段是否够用
不同服务器、CDN 和反向代理输出的字段不完全一样。至少要能看到这些信息：
- 访问时间与时区
- 真实来访 IP，而不是只看代理层 IP
- User-Agent
- 请求方法、URL、状态码、响应字节数
- Referer 或来源标记
- 响应时间
如果日志经过 CDN，需要确认回源日志里是否保留原始 IP 和 UA。字段缺失时，后面分析真假蜘蛛和抓取路径会比较吃力。
判断真假蜘蛛：先看行为，再看声称
User-Agent 可以伪造，所以不能只凭 UA 下结论。更稳妥的方式是组合判断：反向 DNS 是否对应、IP 归属是否合理、访问频次是否平稳、请求路径是否符合正常抓取习惯。假蜘蛛常见表现是集中请求少量 URL、状态码异常偏高、没有明显的层级推进，或者在很短时间内反复打同一入口页。
抓取质量看四个维度
状态码分布
把日志按状态码聚合，先看 2xx、3xx、4xx、5xx 的比例。大量 5xx 通常说明源站或入口页不稳定；大量 404 要回头检查链接、跳转和已失效 URL；过多 3xx 则要看跳转链是否太长。
URL 覆盖与深度
观察蜘蛛是否只停在入口页，还是能顺着链接进入下一层。如果长期只抓同一批 URL，可能是内链不足、跳转方式不友好，或者入口页没有给到可继续爬取的路径。日志中的 URL 去重数和层级分布，比总请求数更有参考价值。
频次与节奏
看单位时间的请求数、峰谷变化和持续天数。正常抓取通常会有起伏，但不会长期归零。某天突然升高不一定是好事，可能是异常扫描；持续下降则要排查入口页可用性、DNS 解析和响应速度。
响应时间与下载量
响应时间过长会让蜘蛛提前离开。日志里的请求字节数也能提供线索：如果大量请求只拿到很少内容，可能是只抓了头部、遇到超时，或者页面主体依赖 JS 而没有被执行。
把日志和入口页设计对照
日志不是孤立看的。如果蜘蛛只访问入口页，要检查入口页到目标页的链接是否可达、是否依赖 JS 跳转、robots 是否误屏蔽。如果蜘蛛频繁抓静态资源而不抓内容页，要检查内链锚文本、sitemap 和页面主体是否足够明确。把这些日志现象和入口页改动时间对齐，更容易找到原因。
日志留存与观察周期
- 至少保留 30 天，并按天聚合关键指标。
- 每周做一次同比或环比，不要只看单日高峰。
- 记录入口页改动、跳转调整、DNS 变更的时间点。
- 可结合搜索资源平台的抓取数据交叉验证，但不要把平台数据当成唯一依据。
常见误读
- 把蜘蛛总请求量直接等同于抓取质量。
- 只看 UA 就判断真假蜘蛛。
- 忽略 304、缓存和 CDN 回源日志，导致重复统计。
- 只看成功状态码，不关注 4xx、5xx 和超时。
- 看到抓取量上涨就认为路径已经通畅，没有检查 URL 覆盖和深度。
日志是观察工具，不是排名工具。它能告诉你蜘蛛看到了什么、在哪里停下，但不能保证页面被收录或获得排名。
建议把日志字段、聚合口径和观察周期固定下来，先解决入口页到目标页的路径通畅问题，再考虑扩大规模。这样调整起来更有依据，也更容易发现真正的瓶颈。