做蜘蛛池的人常会遇到一种困惑：入口页已经放上去了，但目标 URL 到底有没有被搜索蜘蛛发现，心里没底。第三方工具给出的“蜘蛛访问次数”多半是估算值，只能当参考。真正能当依据的，还是自己服务器上的访问日志。下面把判断过程拆成几步，可以照着做。
第一步：先确认访问者是不是真的搜索蜘蛛
日志里的 User-Agent 是可以伪造的，只看 UA 字符串很容易被自己骗到。比较稳妥的做法是把访问 IP 反查一遍，确认它落在搜索引擎官方公布的 IP 段内。
- 先把 UA 里带 spider、bot、crawler 字样的记录筛出来；
- 对出现频率较高的 IP 做反向解析，或直接和官方 IP 段比对；
- 对不上号的记录单独放一边，不要混进后面的统计里。
这一步偷懒的话，后面所有结论都是建立在假数据上的，价值不大。
第二步：分清“抓了入口页”和“跟进了目标 URL”
这两件事在日志里是两条独立记录，很多人会把它们混为一谈。搜索蜘蛛请求了入口页，只说明入口页被访问过；它有没有继续请求入口页上的链接，要另外去看目标 URL 对应的访问记录。
- 入口页有记录、目标 URL 无记录：链接可能没被解析出来，或者蜘蛛这次没继续往下走；
- 两者都有记录：说明至少这一次的跟进是发生了的；
- 目标 URL 有记录但入口页没有：可能来自其他来源，比如 sitemap、外链或历史抓取，不能算入口页的功劳。
第三步：重点看这几个字段
- 时间：看入口页被抓和目标 URL 被抓之间隔了多久，间隔过长说明跟进并不连贯；
- 请求 URL：确认抓到的是不是你想要的那个地址，重定向后的最终地址也要留意；
- 状态码：200 是正常返回，403、404、5xx 会让这次抓取基本失效；
- 响应字节数：数值异常小，可能是空页面或者被截断了；
- 请求方法：HEAD 请求通常只是探测，不代表内容被完整读取。
容易被误判的几种情况
- 把 CDN 或安全设备的探测流量当成搜索蜘蛛；
- 把同一台蜘蛛服务器反复重试的记录，当成多个蜘蛛都来了；
- 把日志轮转切掉的那段数据忽略掉，导致统计缺一块；
- 目标 URL 命中的其实是浏览器访问或你自己的测试请求。
做一张简单的记录表
不需要复杂系统，一张表就够用：
- 入口页地址、上线时间；
- 入口页被搜索蜘蛛抓取的时间、次数、状态码；
- 入口页上列出的目标 URL 数量；
- 其中有多少个在之后一段时间内出现了搜索蜘蛛记录；
- 出现记录的目标 URL，第一次被抓的时间。
按周对比这张表，比盯着某个工具的蜘蛛次数曲线要有用得多。
结果不理想时的排查顺序
- 先确认入口页本身能不能被正常返回，状态码是不是 200；
- 再看入口页上的链接是不是可解析的普通 a 标签，有没有被脚本或样式挡住；
- 检查 robots.txt 有没有拦掉入口页或目标路径；
- 看服务器响应时间，太慢可能让蜘蛛提前结束这次抓取；
- 最后才考虑入口页数量和更新频率的问题。
日志只能告诉你“发生过什么”，不能保证“以后也会发生”。搜索蜘蛛是否持续来访、目标 URL 是否会被收录，最终由搜索引擎自己决定，任何方法都只是提高被发现的概率。
把日志看明白，至少能让你知道手上的入口页到底在起作用，还是在白占资源。这比凭感觉加页面、换域名要省事得多。