想弄清一个 URL 是怎么被蜘蛛发现的，最靠得住的材料不是后台的抓取统计，而是服务器访问日志。统计工具给你的是汇总数字，日志给你的是每一次请求的原始记录：谁来的、什么时候来的、请求了哪个地址、返回了什么。只要愿意按目录和路径聚合一遍，URL 的发现路径基本能还原出来。
日志里先确认哪些字段
- 请求时间：精确到秒，用来判断抓取节奏和并发情况
- 请求方法：蜘蛛绝大多数是 GET，HEAD 出现得多说明它在做前置校验
- URL：包含查询参数，留意参数是否被大量不同的值撑开
- 状态码：200、301、404、5xx 对应后续完全不同的处理动作
- User-Agent：先粗筛出蜘蛛标识，再逐条看
- 来源 Referer：蜘蛛通常不带，别指望它直接告诉你链接从哪来
很多日志格式里 Referer 是空的，这不代表数据没用。判断发现来源要靠时间分布和路径关系，而不是单看一列。
区分从 Sitemap 来，还是顺着内链爬来
Sitemap 里的 URL 往往成批被请求，时间上很密集，路径跨度大、层级跳跃，中间还夹杂着对站点地图文件本身的抓取记录。顺着内链爬来的 URL 更像人走路的轨迹：先入口页，再栏目页，再详情页，同一批请求里能看到明显的父子关系。把一段时间内的请求按时间排序，看它落在哪个簇里，比盯住单独一条记录靠谱得多。
还有一种情况：外部链接带来的访问
被外部页面引用的 URL 可能在任何时间单独出现一次，之前没有同站的前序请求，之后也未必有后续。这类记录不要急着当成脏数据，它说明外面有人给你带了入口，值得记下来。
按目录做一次聚合
- 把日志按第一层路径分组，统计每组被请求的 URL 数量和请求次数
- 算出每个目录里被访问过的 URL 占该目录总 URL 的比例，这个比例就是发现覆盖率
- 横向对比各目录的覆盖率，差距过大的地方通常对应链接深度不足或内链缺失
- 把长期零访问的目录单独列出来，回头检查它有没有可到达的入口
几种值得留意的形态
- 只有首页和 Sitemap 被反复抓，内页几乎不动：说明内链路径可能没被走到，或者入口页上的链接位置太靠后
- 同一批 URL 每天被抓很多次、每次状态码都一样：说明页面内容或头部时间戳在频繁变动，吸引了蜘蛛反复回来
- 大量带不同参数的 URL 被逐个抓取：筛选、排序参数缺少约束，抓取额度被摊薄
- 某个目录从某天开始整体消失：先查 robots 与服务器响应，再查该目录上级链接是否断掉
把结论落回站内调整
日志能告诉你事实，但不能替你决定改什么。比较稳妥的做法是把日志结论和站内结构对照着看：覆盖率低的目录，是不是离首页层级太远；被反复抓取的页面，是不是真的需要那么高频的更新信号；只出现在 Sitemap、从没被内链走到的 URL，是不是应该补一个固定入口。
- 给重要但被冷落的目录，补一条来自高抓取页面的稳定链接
- 参数页能收则收，避免同一内容生成大量入口
- Sitemap 保持干净，别把 404 和重定向地址混在里面
- 服务器稳定性优先解决，尤其是出现批量 5xx 的时间段，先确认那段时间的抓取是否整体归零
日志是观察工具，不是结果保证。它让你看到蜘蛛走了哪些路、漏了哪些路，但能不能被抓、能不能被收录，最终还是取决于页面本身和整体结构是否值得抓。定期翻一次原始日志，往往比盯着汇总数字更能发现真正的问题。