先把“来了”和“发现了”分开
看日志时最容易犯的错，是把入口页被请求当成目标 URL 已被发现。搜索蜘蛛请求入口页，只说明它来过；它有没有从 HTML 里提取出目标链接，要看你后来有没有等到目标 URL 的请求记录。这两件事之间隔着一层链接提取，任何一层出问题，日志上都会表现为“入口页天天被抓，目标 URL 一动不动”。
所以判断的第一步不是看抓取量，而是找证据链：入口页被有效抓取 → 链接被提取 → 目标 URL 被排队 → 目标 URL 被请求。缺哪一环，就往哪一环查。
日志里先确认三件事
1. 来访的是不是搜索蜘蛛
UA 字符串可以伪造，只看 UA 很容易把采集工具、监控探针、代理回源都算进来。建议配合反向 DNS 解析或官方公布的 IP 段做核对，把无关流量先剔掉。这一步不做，后面所有统计都会失真。
2. 请求的是入口页还是目标 URL
把入口页 URL 和目标 URL 分开统计成两张表。入口页请求量上涨，不代表目标 URL 被访问过。真正能说明链接被发现的，是目标 URL 出现在日志里，而且时间点合理。
3. 返回的状态码和响应体大小
入口页返回 200，但响应体只有几百字节，很可能是拦截页、验证页或空模板，链接压根不在里面。5xx、403、超时同样会让链接提取中断。如果某天响应体大小突然掉了一半，值得单独拉出来看。
能当作“发现”证据的几个信号
- 入口页被抓后，较短时间内同一蜘蛛 IP 段出现目标 URL 的请求记录；
- 目标 URL 请求的 UA 与入口页一致，且该记录不是远早于入口页抓取的旧数据；
- 目标 URL 首次被抓的时间，晚于该入口页第一次被有效抓取的时间。
Referer 只能作为辅助。很多搜索蜘蛛抓取二级链接时不带 referer，光靠它会把你误判成“没发现”。反过来，如果日志里能看到 referer 指向入口页，那基本可以确认链接路径是通的。
几种常见的误判
- 把入口页的重复抓取当成进展。入口页被反复抓，只说明它被列入抓取范围，链接提取是否成功是另一回事。
- 把 CDN 或代理回源日志当成蜘蛛访问。回源请求的 UA 常被改写，看源站日志时要先分辨。
- 链接在 HTML 里，但提取不到。纯 JS 注入、放在 data 属性里、被大量代码挤到页面很后面的链接，都可能抓不到。
- 目标 URL 自己有毛病。入口页正常，但目标 URL 返回 404、5xx、跳转链过长，抓取也会停在上一步。
一个可执行的排查顺序
- 按 UA 和 IP 段过滤出真实搜索蜘蛛请求。
- 统计入口页的有效抓取次数，记录返回码和响应体大小。
- 在日志里搜索目标 URL，看有没有首次出现，并记录时间。
- 把入口页抓取时间和目标 URL 首次抓取时间放在同一条时间线上比对。
- 若目标 URL 从未出现，先人工打开入口页，确认链接在 HTML 源码里可见、可点、不是跳转。
- 再检查目标 URL 本身是否可正常访问，没有被拦截、没有重定向循环。
- 最后看入口页链接数量是否过多，位置是否过于靠后，必要时精简并前移。
让入口页更容易把链接交出去
- 入口页保持可正常访问，返回稳定的 200 和完整响应体。
- 目标链接放在 HTML 源码中，不依赖脚本渲染。
- 链接数量克制，重要的放前面，避免一屏塞几百条。
- 用 sitemap 做补充，而不是把它当成唯一入口。
- 别频繁改动入口页结构，抓取和提取都需要一个稳定的目标。
日志能告诉你搜索蜘蛛来过、抓了什么，但不能直接告诉你它下一步会不会抓、抓了会不会收录。把“发现”这一环确认清楚，后面的问题才不会被归错原因。