先看日志，再看收录
很多人搭好蜘蛛池之后，第一件事是去查目标页有没有被收录。这个顺序其实反了。池子有没有把蜘蛛引过来、蜘蛛来了之后是走通了还是撞墙了，这些信息在服务器日志里都能看到，而且比收录结果出现得早得多。收录是滞后指标，日志是即时指标。
先把日志里的“蜘蛛”认出来
日志里混杂着真实用户、扫描器、各种爬虫。判断是不是搜索蜘蛛，不要只看 User-Agent 字符串，那个可以伪造。比较靠得住的做法是交叉验证：UA 声明、反向 DNS 解析回的域名、IP 段归属，三者对得上再算蜘蛛，对不上就按普通访客处理。否则后面的统计全是错的。
另外要注意，搜索引擎来的请求用途不止一种：抓取、验证、预览渲染都可能出现。同一个 IP 段来的请求，行为模式可能不一样，别把预览请求当成抓取来统计。
状态码分布能告诉你什么
- 200 占比高：入口页和跳转链基本通畅，接下来该看蜘蛛有没有继续往下走。
- 3xx 占比高：跳转层数可能太多，或者链里有一环不稳定。蜘蛛对多跳链路的耐心有限，能少一跳就少一跳。
- 404 集中出现：要么是池内链接指向了已删除的地址，要么是蜘蛛在按老地图抓。前者要清理链接，后者要留意站点结构是否大改过。
- 403/401 变多：多半是防护层、防盗链或地域限制把请求挡了。这时候要看的不是蜘蛛池，而是前面的准入规则。
- 5xx 与超时：主机扛不住，或者程序里有慢查询。蜘蛛遇到连续失败会降低来访频率，掉下去容易，恢复起来慢。
几种典型的异常组合
入口 200，但后续全断
入口页能打开，说明池子本身没问题；但蜘蛛没有顺着链接继续请求，常见原因有三种：链接是 JS 动态注入的、链接被 nofollow 标记了、入口页内容太空让蜘蛛判断没有继续的价值。
请求量高，但全是同一批 URL
说明蜘蛛在反复抓你已经抓过的页面，新链接没有被发现。要检查新链接是否放进了入口页、入口页有没有被重新抓取、链接是否放在蜘蛛能读到的位置。
白天正常，夜里失败率飙升
这类通常是资源问题：备份、批量任务、带宽争抢。蜘蛛不挑时间，但你的服务器挑。把重任务和抓取高峰错开，能减少大量无谓的失败记录。
日志怎么留、留多久
- 至少保留原始访问日志 30 天，压缩存档也要留。
- 字段里保留状态码、响应时间、UA、IP、请求路径，缺一个都会让事后分析很费劲。
- 按天切分，方便看趋势。单看一天的日志容易被偶发波动误导。
- 建议做一层简单聚合：按蜘蛛来源、状态码、路径前缀分别统计，比逐条翻快得多。
两个常见误区
误区一：日志里蜘蛛多就是好事。请求量本身没有意义。一百次 404 不如十次 200，而且前者还会拉低蜘蛛对整站的信任度。
误区二：状态码正常就说明池子有效。200 只说明服务器愿意响应，不说明蜘蛛愿意继续抓，更不说明页面会被收录。日志解决的是“通不通”的问题，不解决“值不值得收”的问题。
把看日志变成日常动作
不用每天盯，但至少在改动池子结构、更换主机、调整跳转方式之后看一次。抓取行为的变化往往比排名变化来得早，早一步看到异常，就能少走一段弯路。
日志不会告诉你排名，但它会告诉你哪一步卡住了。先把“通不通”解决掉，再谈别的。