蜘蛛池上线之后，很多人的第一反应是看统计工具里的“蜘蛛来访”数字。但第三方统计依赖 JS 执行，蜘蛛大多不跑 JS，看到的数据要么偏低，要么把普通爬虫混进搜索引擎蜘蛛里。真正可靠的依据，是服务器自己的访问日志。

日志里先看哪几列

一条标准的访问日志至少包含：访问 IP、时间、请求方法、请求路径、状态码、响应字节数、User-Agent，有时还有 Referer。做入口页观察时，这几列各有用途。

• IP 与时间：判断抓取是集中爆发还是细水长流，也方便和已知的蜘蛛 IP 段做比对。
• 请求路径：确认它抓到的是入口页，还是顺着跳转走到了目标页。
• 状态码：200 才算真正拿到内容，301、302 说明跳转被执行，404、403、5xx 都要单独查。
• User-Agent：是线索，不是结论。

识别蜘蛛：别只看 UA

UA 字符串可以随便伪造，只凭“Baiduspider”几个字就认定是搜索引擎蜘蛛，很容易被假蜘蛛刷出来的假象误导，尤其是那些打着蜘蛛名义的采集程序。更稳妥的做法是把访问 IP 与搜索引擎官方公布的 IP 段做比对，或者对访问 IP 做一次反向 DNS 解析，看域名是否归属于对应的搜索引擎。这一步做过一次之后，后面就是定期更新 IP 段列表的事。

几个值得长期盯的指标

• 首次抓取时间：入口页上线后多久被第一次访问。如果几天都没有记录，先查 DNS、服务器可达性和 robots.txt，而不是急着加量。
• 回访间隔：同一个入口页两次抓取之间隔多久。间隔相对稳定，说明入口页被纳入了常规的抓取节奏。
• 抓取深度：日志里是否出现跳转之后的页面请求。只在入口页停一下、从不往下走，说明入口页对蜘蛛的指引作用有限。
• 频次趋势：单日数字意义不大，看一周或两周的走向更有参考价值。

常见异常与大致方向

• 大量 403：多半是 WAF 或防火墙规则误伤，检查是否对特定 UA、请求频率或境外 IP 做了拦截。
• 大量 404：入口页已下线但还在被访问，或者跳转地址写错。需要确认是主动清理还是配置失误。
• 只有 200，没有跳转记录：跳转可能用了 JS 或 meta refresh，蜘蛛不执行；也可能入口页内容太“自洽”，蜘蛛没有继续走的动机。
• UA 高度单一：只有一种蜘蛛来访，可能是资源接入的渠道太窄，或者入口页内容偏向某一类语种、主题。
• 来一次就再也不来：看这种缺失是发生在所有入口页还是个别页面，前者偏向服务器或整站配置，后者偏向单页本身。

日志要留多久

建议至少保留 30 天，最好按天切割并做简单归档。观察周期以两周为一个单位比较合适：第一周看是否被发现，第二周看是否形成回访。网络波动、搜索引擎自身的调度变化都会造成单日数据起伏，周期太短容易误判。

日志能证明的只是“蜘蛛来过、拿走了什么”，不能证明“页面一定被收录”。收录与否还要看搜索引擎自己的判断，日志只是帮你排除那些明显不该发生的问题。

把日志变成日常动作

与其每天盯着数字涨跌，不如固定几件事：每周导出一次日志，按 UA 和状态码做一次汇总，把新出现的蜘蛛 IP 段更新进比对表，把异常状态码单独拉出来看。坚持一段时间之后，入口页到底有没有起作用，会有一个相对清晰的答案，而不是靠感觉判断。