入口页上线之后，后台只看到一些 UA 里带蜘蛛字样的访问，但没人能确定蜘蛛到底有没有读到页面里的目标链接。想搞清楚这一点，日志是最直接的材料，前提是你知道该看哪几列、以及哪些结论日志给不了。
日志能证明什么，不能证明什么
日志能证明的只有一件事：某个客户端在某个时间点请求了某个 URL，返回了什么状态码。它能告诉你蜘蛛来过入口页，也能告诉你蜘蛛随后有没有请求目标 URL。但它不能证明目标 URL 一定会被收录，也不能证明排名会变化。把日志结论和收录结果分开看，后面判断才不容易跑偏。
第一步：先确认访客是不是真的搜索蜘蛛
UA 字段是用户端自己填的，随便就能伪造。看到一堆蜘蛛 UA 就下结论，是最常见的错误起点。可以按下面几步交叉验证：
- 看 UA 完整字符串是否符合官方格式，而不是只匹配关键字。
- 看来源 IP 是否属于搜索引擎公布的 IP 段，必要时做反向解析核对。
- 看访问频率和路径分布，真蜘蛛通常有较稳定的节奏，且会按链接结构展开。
- 看是否请求了 robots.txt、是否有对其他资源的正常抓取行为。
如果这几项里有两三项对不上，那批访问很可能只是伪装流量，后面的分析就失去意义了。
第二步：在日志里定位入口页和目标 URL
确认身份之后，把时间窗口缩小到入口页上线之后的那几天，然后分层检索：
- 筛出入口页 URL 的请求记录，确认状态码为 200，且返回体大小正常，没有落到空页或跳转。
- 在同一时间段内筛出目标 URL 的请求记录，看是否出现过。
- 对时间排序，观察入口页请求和目标 URL 请求的前后关系，是否在同一抓取会话内。
- 看目标 URL 请求的 referer 字段，是否指向入口页。
注意：搜索蜘蛛请求目标 URL 时不一定会带 referer。referer 为空并不等于“没从入口页发现”，只能说明这次请求没有携带来源信息。不要单凭这一列下判断。
第三步：把“已发现”和“已抓取”分开看
这两件事经常被混为一谈。发现是指蜘蛛知道了这个 URL 存在，抓取是指它真的把页面拉下来。日志里通常只能看到抓取动作，发现过程更多体现在抓取计划的排队逻辑里。可以这样区分：
- 目标 URL 完全没出现在日志里：可能是没被发现，也可能是发现了但还没排到抓取计划。
- 目标 URL 出现了但状态码是 3xx、4xx：说明已被发现并抓取，问题在目标页本身。
- 目标 URL 出现且返回 200：说明发现和抓取都走通了，后面看的是内容质量和收录判定。
几个常见的误判
- 只看蜘蛛总请求量上升，就认为入口页生效，忽略了请求集中在入口页本身而不是目标 URL。
- 把 CDN 或 WAF 日志当成源站日志，看不到真实回源情况，回源被拦截时日志会显示正常。
- 日志做了采样或只保留最近几天，导致目标 URL 的请求记录已经滚掉，误以为从没被抓。
- 用秒级时间戳对齐时忽略时区差异，把两次不同会话的连接误判成一次。
记录习惯上的两点建议
一是保留原始日志至少覆盖一个完整抓取周期，很多结论要拉长到两三周才看得清趋势。二是给入口页和目标 URL 用可识别的路径或参数命名，检索时少一层猜测。做到这两点，再回看蜘蛛池的投放动作，判断依据会扎实很多。