先分清「抓到了页面」和「抓到了里面的链接」
日志里出现入口页的 200 请求，只能说明蜘蛛拿到了那个页面，并不代表它把页面里的链接都放进了抓取队列。这两件事在日志上的表现完全不同：前者是入口页自身的请求记录，后者会在稍后出现目标 URL 的请求记录。想把问题定位清楚，得从几个能落地的观察点入手。
一、日志：看请求的是谁、按什么顺序来
日志是最基础的证据，但要看得有针对性，不能只数抓取次数。
值得关注的几项
- 目标 URL 有没有出现在日志里，而不是只看入口页被访问过几次。
- 时间间隔：入口页被抓之后多久出现目标 URL 的请求，几小时和几天都是正常范围。
- UA 与来源 IP：用反向查询确认是不是目标搜索引擎的蜘蛛，UA 可以随便填，IP 归属相对难伪造。
- 返回状态码：目标 URL 是 200、301 还是 404，结果差别很大，不能混在一起统计。
二、目标页侧的证据比入口页更直接
如果目标页本身也有访问日志，优先看它。入口页日志只能证明蜘蛛来过入口页，目标页日志才能证明它顺着链接走过去了。当两边的时间戳能对上、中间没有其他跳转环节时，这条链路基本可以确认是通的。
反过来，如果入口页反复被抓、目标页却从来没有请求记录，问题多半出在链接本身的写法上，比如链接只在 JavaScript 渲染后才出现、被 nofollow 标注、指向的地址已经失效，或者目标页被 robots.txt 挡在抓取之外。
三、抓取频次的变化要拉长时间看
单日的抓取量波动很常见，用一天的数据下结论容易误判。把窗口拉长到一到四周，观察目标 URL 是否开始被周期性访问，而不是只来一次。只被抓一次通常说明链接被发现过，但没有形成持续跟进的节奏；周期性出现才说明这一批 URL 进入了正常的抓取循环。
四、几个容易误判的情况
- 把采集程序、监控探针、安全扫描的请求当成搜索蜘蛛，这类请求通常频率高、路径杂乱。
- 把 CDN 回源、缓存预热、页面预取产生的请求算成蜘蛛抓取。
- 入口页被抓了，但链接是脚本动态插入的，日志里自然看不到对应的目标 URL 请求。
- 目标 URL 返回 304 或直接跳转，日志看起来像「没抓到内容」，其实请求是成功的。
- 入口页被缓存，蜘蛛拿到的仍是旧版本 HTML，新加的链接根本没出现在返回内容里。
五、一套可以照做的排查顺序
- 先确认入口页本身是否真的被目标搜索引擎的蜘蛛抓过，UA 加 IP 反查一起看。
- 查看入口页返回的初始 HTML 源码，确认目标链接是不是直接写在 HTML 里。
- 检查链接是否带 nofollow、是否落在 robots.txt 的 Disallow 范围内。
- 把时间窗拉长到一到四周，看目标 URL 有没有出现请求记录。
- 如果长期没有动静，换一批入口页或换一种 URL 提交方式做对照测试，而不是继续堆量。
抓取是发现，收录是另一回事。日志里看不到目标 URL，通常说明 URL 发现环节出了问题；目标 URL 被抓了却迟迟不收录，问题多半在页面质量、内容重复或站点整体信号上，跟蜘蛛池本身关系不大。
小结
判断蜘蛛有没有跟进，靠的是日志、页面源码、时间趋势三样东西互相印证，而不是某个工具上显示的蜘蛛数量。把观察点固定下来，每次调整入口页或链接写法时都做一次对照，比反复更换方法要可靠得多。