蜘蛛来没来、来了多少、看了哪些页面，这些信息大多能在服务器日志里找到。与其凭感觉猜，不如定期翻一翻访问日志，把抓取情况变成可见的数据。
为什么值得花时间看日志
站点地图提交、内链调整、内容更新这些动作做完之后，效果往往不会立刻显现。日志是少数能直接反映蜘蛛行为的原始记录：哪个时间段来访、抓了哪些目录、遇到多少 404、有没有因为超时中途放弃。看懂这些，后续的调整才有依据。
先分清两类日志
- 访问日志：记录每次请求的 IP、时间、URL、状态码、User-Agent、响应大小。蜘蛛来访主要看这里。
- 错误日志：记录程序报错、超时、权限问题。访问日志里出现大量 5xx 时，通常要回到错误日志找原因。
大多数环境里，访问日志按天切分，文件名带日期。压缩归档的老日志别急着删，做前后对比时会用到。
日志里重点看什么
来访频率与时间分布
把蜘蛛的 User-Agent 过滤出来，按小时或按天统计请求数。正常抓取通常有比较规律的节奏；如果某天突然归零，先检查是不是防火墙改了规则、robots.txt 写错了，或者服务本身宕过机。
状态码分布
按状态码分组是最快的体检方式：200 说明正常返回；301、302 集中在某些地址，可能意味着跳转链太长；404 扎堆的目录，往往有失效链接或改版遗留；5xx 一旦出现，说明服务器在蜘蛛来访时没扛住，这类问题优先级最高。
抓取集中在哪些目录
统计被请求 URL 的前缀分布，能看出蜘蛛的偏好。如果列表页被反复抓取，而详情页很少出现，可能是入口太浅、分页太多，或者详情页在页面里没有被真正链接出来。
响应时间与抓取深度
日志里一般有响应耗时字段，慢请求集中在哪类页面，一眼就能看出来。另外可以观察蜘蛛单个会话内连续请求的 URL 数量，数量长期偏低，通常和站点结构、内链密度有关。
常见的几类异常
- 同一个 URL 一天被重复抓取几十次，可能是参数组合或跳转导致地址不唯一。
- 抓取量忽高忽低，往往和内容更新节奏不稳定有关。
- 只抓首页和少数几个栏目页，深层页面长期没有记录。
- 出现大量非公开路径的请求，说明某些内部地址被暴露在外链或站点地图里。
一个简单的排查流程
- 取最近 7 天的访问日志，筛出蜘蛛请求。
- 按天统计请求总量和状态码分布，建立一条基线。
- 列出被访问最多的 100 个 URL，检查是否符合预期。
- 列出 404 和 5xx 的 URL，逐条确认是修复还是保留失效。
- 把结论记下来，和上一次对比，观察变化趋势。
日志分析的价值在于对比。单看一天的数据很难判断好坏，连续观察几周之后，才容易分辨哪些是正常波动、哪些是真的异常。
把结论落回具体动作
看日志不是目的。发现某个栏目页长期没有来访记录，就去补内链入口；发现 5xx 集中在某个接口，就去查服务器和数据库；发现跳转链太长，就整理 301 映射。每一次观察都对应一个可以执行的小动作，积累起来，站点的抓取状况才会慢慢变好。