投了一批 URL，后台显示已提交，但站点这边没有任何动静。这时候只看投放面板是没用的，面板记录的是你发出了什么，不是蜘蛛真的做了什么。想判断投放是否产生实际作用，办法只有一个：去看服务器自己的访问日志。
为什么日志比投放面板更可信
投放系统能看到的，是它向外请求对方服务器时的返回码、耗时和响应体。它看不到蜘蛛是否顺着这条线索爬到了你的目标页，也看不到蜘蛛在你的站上停留了多久、看了几页。访问日志正好补上这一段：它是目标站点一侧的记录，谁来过、看了什么、结果如何，都写在里面。
先分清三类访问来源
真蜘蛛、伪蜘蛛、普通访客
- 真蜘蛛：UA 声称是搜索引擎，同时 IP 段、反向解析能对得上官方信息。
- 伪蜘蛛：UA 抄得很像，但 IP 归属对不上，反向解析查不到或指向无关域名。
- 普通访客：包括你自己、监控探针、爬虫工具，这类流量会干扰频次判断，最好在分析前先过滤掉。
判断身份不要只看 UA，至少做 UA、IP 段、反向解析三者的交叉核对。三项里有两项对不上，就先当伪蜘蛛处理。
日志里值得盯的几个字段
- 请求路径：蜘蛛进的是入口页还是直接进了目标页，这决定了后续是否还需要加强内链引导。
- 状态码：200 是正常，3xx 是跳转，4xx 表示它来了但被拒绝，5xx 表示你这边出了问题。4xx 和 5xx 占比高时，先修站，再谈投放。
- 响应时间：持续偏慢会让蜘蛛降低频次，这是很多站点抓取量下滑的真实原因。
- 抓取频次与时段：一天来几次、集中在什么时间，用于判断当前抓取额度大致处在什么水平。
- 访问深度：从入口页往下走了几层，能不能走到你真正想被发现的那些 URL。
日志要按天留存，至少保留两到四周。只留当天日志的话，趋势类的判断基本做不了。
从日志能读出的三种结论
投放没生效
日志里既没有目标页的抓取记录，也没有入口页的明显增量。此时要检查的不是蜘蛛，而是链路本身：URL 有没有写错、入口页是否可达、是否被 robots 或权限拦住。
投放生效但页面被拒
有抓取，但状态码集中在 4xx 或 5xx，或者响应体是错误页。这说明通路是通的，问题在站内，属于可以被修复的一类问题。
抓取被浪费
蜘蛛反复来，但每次都落在同一批没有价值的页面上，比如筛选参数页、重复列表页。这说明抓取额度被消耗在了不该花的地方，需要通过内链、参数收敛和入口布局去引导。
常见的几处误判
- 把日志里所有带 bot 字样的 UA 都当成搜索蜘蛛，结果频次被高估。
- 只看总请求数，不看状态码分布，页面其实一直报错却以为投放成功。
- 把 CDN 或代理层的日志当成最终源站日志，路径和状态码可能已经被改写。
- 用一天的日志下结论，忽略了蜘蛛本身就有明显的周期性波动。
一套简单的日常流程
- 过滤已知的自家探针与监控来源。
- 按 UA 和 IP 段分出疑似蜘蛛的访问，再做反向解析核对。
- 统计目标路径的命中次数与状态码分布。
- 对比前几天的数据，看是增量、持平还是下滑。
- 只对异常项采取动作，不要每天都调整策略。
日志分析的价值不在于把数据做得多复杂，而在于让每一次投放都有据可查：蜘蛛到底来没来、从哪里进、看到了什么、卡在哪一步。把这四件事弄清楚，比反复调整投放参数要有效得多。