很多人判断蜘蛛池有没有起作用，标准只有一句：日志里看到蜘蛛了。但入口页被访问，和目标URL被抓取，是两件独立的事。搜索蜘蛛可能抓了入口页的样式表、图片，甚至只是重复抓取旧的入口页，却始终没有发出对目标URL的请求。想让排查有结论，需要把入口页和目标URL两边的日志对上。
先分清“来过”的几种情况
- 抓的是静态资源：图片、CSS、JS 的请求很多，主文档请求很少，说明页面结构偏重或依赖前端渲染。
- 抓的是同一个入口页：同一地址反复出现，但没有任何出站链接的后续请求。
- 抓的是旧链接：入口页已经改版，蜘蛛仍在抓几个月前的路径，说明缓存或索引还未更新。
这三种情况在统计里都表现为“有蜘蛛访问”，但对目标URL的发现并没有帮助。
用日志把入口页和目标URL对齐
- 选一个时间窗口：以入口页出现蜘蛛请求的时间点起算，向后看 1 到 15 分钟，多数跟进请求落在这个范围内；跨天、跨小时的对齐参考价值很低。
- 看 Referer 字段：如果目标URL的请求里带着入口页地址，基本可以确认是同一条跳转链路；Referer 为空时，可能是 sitemap、主动推送或外部链接带来的，不能直接算入口页的功劳。
- 看目标URL的状态码和响应体：返回 200 但体积异常小，常见于验证页、空模板、前端未渲染的骨架页；返回 403、429、503 时，蜘蛛即使来了也很难继续处理。
断点通常出在哪几处
- 入口页把链接写在 JS 渲染后才出现的位置，主文档里没有可抓取的 href。
- 出站链接经过 302 跳转，中间多了一跳，在抓取配额有限时容易被放弃。
- 入口页的链接都指向目标URL的同一路径，但该路径带参数或做了 UA 判断，返回结果与预期不同。
- 目标URL所在服务器的安全策略拦掉了非浏览器请求，只留下验证页或空白响应。
容易误判的几种日志现象
日志里没有，不等于蜘蛛没来；日志里有，也不等于链路已经走通。
- 站点走了 CDN 或反向代理，缓存命中不回源，源站日志自然看不到对应记录。
- 日志按小时切分、按天归档，短时间窗口的数据被切到两个文件里，只看一个文件会漏掉。
- 多个站点共用一个 IP，日志混在一起，UA 相同但来源不同，容易张冠李戴。
- 抓取频率本身不高时，一次抽样失败就可能让你误判成完全不抓。
对齐之后，先动哪一环
如果确认入口页有抓取、目标URL没有请求，优先做的是降低这条链路的阻力，而不是继续增加入口页数量：把出站链接写成静态 HTML，减少跳转层级，检查目标URL对常见 UA 是否正常返回，必要时用 sitemap 与主动推送作为并行路径做对照。如果目标URL已经有请求但状态异常，问题多半在目标站点本身，继续铺入口页不会改变结果。
把日志当成验证工具，而不是效果证明。每次调整只改一个变量，观察一个抓取周期内的请求路径变化，比反复猜测入口页是否有效要可靠得多。