服务器日志通常默默躺在硬盘里，只有在站点打不开、CPU 跑满的时候才会被翻出来。其实对站点运营来说，访问日志是一份持续更新的“现场记录”：哪些 URL 被蜘蛛抓过、哪些页面反复返回 404、哪些参数组合被大量请求，都能在日志里找到痕迹。与其凭感觉调整栏目和内容，不如先花半小时看看日志。

先确认日志格式和保留周期

不同服务器和 CDN 的日志格式不一样，常见的有 Nginx 默认 combined 格式、Apache 的 common 格式，以及各类面板加工过的格式。先确认日志里是否包含请求时间、客户端 IP、请求方法、URL、状态码、User-Agent 和来源页。如果缺少 User-Agent，就很难区分蜘蛛和普通访客。

保留周期也很重要。只留三天日志，只能看到最近波动；留三个月以上，才能观察抓取频率的长期变化。建议至少保留 30 天，重要站点可以保留 90 天或更久，并注意日志文件本身的磁盘占用。

重点看哪几类记录

蜘蛛抓取记录

用 User-Agent 过滤出常见蜘蛛，比如百度、谷歌、必应等。不要只看总抓取量，还要看抓取的是哪些 URL。如果大量抓取集中在标签页、筛选页、分页参数上，而核心内容页抓取很少，说明站内链接结构或 URL 发现方式可能把蜘蛛引偏了。

404 和 5xx 状态码

404 集中出现通常意味着链接写错、页面被删但入口没清理，或者外部链接指向了不存在的地址。5xx 则要优先排查服务器和程序问题。把出现次数最多的 404 URL 列出来，逐个确认是保留、重定向还是彻底移除。

抓取频率异常

如果某个目录或参数组合在短时间内被反复抓取，可能是站内链接过多、分页逻辑有问题，或者蜘蛛陷入了循环。可以结合 robots.txt、canonical 和站内链接一起检查。注意不要因为频率高就直接封禁，先判断这些 URL 是否有真实价值。

从日志里发现 URL 问题

日志里经常会出现带一堆参数的 URL，比如排序、筛选、追踪参数。这些地址如果返回 200 且内容与主页面相同，就容易造成重复抓取。可以统计同一路径下参数组合的数量，如果数量远超实际内容量，就要考虑用 canonical、robots.txt 或参数处理规则来收敛。

另外，注意日志中是否存在大量大小写混用、带 www 和不带 www 混用、http 和 https 混用的情况。这些往往是规范化没做彻底的表现，蜘蛛和访客可能在不同版本之间来回跳转。

日志分析不是为了追求漂亮报表，而是为了在调整栏目、改版或更新内容之前，先知道蜘蛛和访客实际在做什么。

用日志验证站点结构改动

每次调整栏目层级、内链布局或站点地图后，可以对比改动前后的日志。重点看新页面多久被首次抓取、旧入口是否还在被访问、404 是否增加。如果改动后蜘蛛抓取量明显下降，先检查是否误屏蔽了重要目录，或者站内链接是否被大量移除。

几个容易忽略的细节

• 日志里的时间可能是服务器时区，和本地时间对不上，分析前先确认时区。
• CDN 日志和源站日志可能重复记录，合并统计时要去重。
• 蜘蛛的 User-Agent 可以伪装，不要只凭 UA 判断，要结合 IP 和访问行为。
• 分析频率不用太高，每周或每两周一次即可，重点是持续观察趋势。

把日志分析养成固定动作，不需要复杂工具，用命令行过滤加表格统计就能完成大部分工作。关键是别让日志只占硬盘，让它帮你回答“蜘蛛到底在抓什么”这个问题。