入口页上线之后，很多人习惯盯着站长后台的抓取统计，但那边的数字是汇总过的，看不到细节。真正能回答「蜘蛛到底有没有进来、进来之后抓了什么」的，是服务器访问日志。日志不美化、不汇总，每一行都是一次真实请求。
日志里优先看哪几列
不用把所有字段都读一遍，先固定看这几列就够了：
- 时间戳：判断抓取是集中爆发还是细水长流。
- 请求 URL：确认抓走的是入口页，还是站点里其他无关页面。
- 状态码：200 之外的所有返回都值得追一下原因。
- 响应体大小：200 但体积接近 0，通常意味着页面实际是空的。
- User-Agent：区分不同搜索引擎，也用来识别冒充者。
- 来源 IP：看抓取是来自少数几个段，还是相对分散。
判断抓取是否真的发生
以下几个信号同时出现，基本可以认为入口页被正常访问了：
- 同一 UA 在不同日期对同一个入口页有请求记录，而不是只来一次就消失。
- 请求的 URL 落在你准备好的入口页清单内，而不是只抓了首页。
- 状态码以 200 为主，5xx 和 403 的比例很低。
- 响应体大小与页面实际内容量匹配，不是几百字节。
- 抓取入口页之后，日志里出现了对同域其他 URL 的连带请求。
反过来，如果日志里只有零星几行，而且集中在某一天，多半说明入口页只是被顺带扫到，并没有形成持续的抓取路径。
容易误读的几种情况
- 把 CDN 或负载均衡的回源日志当成蜘蛛日志：多层架构下同一次请求会被记多次，去重后再看数量。
- 把其他工具当成蜘蛛：UA 可以伪造，最好用反向解析或官方 IP 段做交叉验证。
- 把一次性的探测当成抓取：只请求了 robots.txt 或 favicon，不代表入口页被读过。
- 只看总量不看分布：一天一千次请求如果全砸在同一个 URL 上，参考意义有限。
日志的价值更多在于证伪：它能告诉你哪些入口页其实没被碰过，而不是证明你已经做对了。
看完日志之后通常要做的几件事
- 把长期零请求的入口页挑出来，检查是不是被 robots、登录墙或 IP 规则挡住了。
- 把 5xx 集中的时间段与服务器负载对照，先解决稳定性再谈数量。
- 如果抓取集中在少数页面，适当减少入口页总量，让请求分布更均匀。
- 记录每次调整前后的日志变化，形成自己的对照基线，而不是照搬别人的数字。
日志分析不需要复杂的工具，一台服务器加上简单的命令行统计就能起步。重要的是养成习惯：每次改动入口页配置之后，回到日志里确认结果，再决定下一步。蜘蛛池只是让 URL 更容易被看到，能不能被读、被读多少，最终还是要靠日志说话。