站点上线一段时间后，很多运营者只盯着收录量这一个数字，却说不清搜索蜘蛛是从哪个入口进来的、在哪一层停下的。服务器日志恰好能补上这块拼图：它记录的是蜘蛛真实的请求行为，而不是我们以为的路径。把日志当成 URL 发现的复盘工具，比反复猜测更省事。
先做减法：日志里真正要看的字段
原始日志又长又杂，第一步是过滤掉静态资源和无关爬虫。留下蜘蛛 UA、请求时间、请求 URL、状态码、响应大小、Referer 这几列就够了。Referer 尤其容易被忽略，它往往能说明蜘蛛是从哪条链接走到这个地址的。
- 按 UA 过滤，只看主流搜索引擎蜘蛛，避免被各种采集器干扰判断；
- 按状态码分组，200 是正常抓取，301/302 是跳转路径，404 是失效链路；
- 按目录前缀聚合，看清哪些频道被反复访问、哪些几乎没人进。
三类路径要分开看
入口请求
每天第一次出现的 URL，尤其是首页、频道页、Sitemap 文件，代表蜘蛛当天的起跑点。如果入口请求长期集中在少数几个页面，说明可发现的入口太单薄。
扩散请求
顺着内链一层层深入产生的请求。观察扩散路径能发现断点：比如列表页第二页之后几乎没请求，往往不是内容问题，而是分页链接没有被有效暴露。
回访请求
同一个 URL 在多次抓取间隔里的重复访问。更新频繁的页面回访密集是正常的；如果一篇很久没改的文章被高频回访，可能意味着页面结构或参数在制造重复地址。
把日志和 Sitemap、内链对照
单独看日志只能看到结果，加上另外两个信息源才能定位原因。做法很简单：从 Sitemap 里抽一批 URL，去日志里查它们有没有被请求过；再从日志里随机抽一批被频繁抓取的 URL，回头看它们在内链中处于第几层。
- 提交了但日志里没有任何请求，检查 Sitemap 是否可访问、格式是否正常、是否被 robots.txt 挡住；
- 有请求但状态码异常，优先修跳转链和失效地址；
- 有请求但从不深入，检查该页面的出链是不是靠脚本渲染、是否被 nofollow 或分页参数截断。
几个常见的误判
日志里的蜘蛛不一定都是真的。UA 可以伪造，一些采集工具会伪装成搜索引擎蜘蛛，判断时最好结合反向 DNS 或 IP 段验证。
另外，请求次数多不等于抓取有效。同一个 URL 因为参数变体被反复请求，看起来热闹，实际上是抓取额度的浪费。遇到这种情况，先收敛参数和重复地址，再谈提升抓取。
日志是证据，不是结论。它告诉我们蜘蛛做了什么，但为什么这样做，还要回到站点结构和服务器响应上找答案。
落成日常动作
- 每周固定导出一次蜘蛛日志，按目录聚合，和上周对比新增与减少；
- 新上线或改版后，头几天重点看新地址是否出现在入口和扩散请求里；
- 把提交量、被抓取量、有效抓取量三个数字分开记录，避免用一个总量掩盖问题；
- 服务器出现 5xx 或响应变慢时，同步看日志中的抓取节奏有没有变化。
坚持几周之后，你会慢慢摸清自己站点的抓取规律：哪些路径通畅、哪些环节卡住、哪些地址其实一直在被浪费。这比盯着单一指标更能指导实际调整。