入口頁上线之後，後台只看到一些 UA 里带蜘蛛字样的訪問，但没人能确定蜘蛛到底有没有讀到頁面里的目标連結。想搞清楚這一点，日誌是最直接的材料，前提是你知道该看哪几列、以及哪些结论日誌给不了。
日誌能證明什么，不能證明什么
日誌能證明的只有一件事：某個客戶端在某個時間点請求了某個 URL，返回了什么狀態碼。它能告诉你蜘蛛来過入口頁，也能告诉你蜘蛛随後有没有請求目标 URL。但它不能證明目标 URL 一定會被收錄，也不能證明排名會變化。把日誌结论和收錄结果分開看，後面判断才不容易跑偏。
第一步：先確認訪客是不是真的搜尋蜘蛛
UA 字段是用戶端自己填的，随便就能伪造。看到一堆蜘蛛 UA 就下结论，是最常见的错誤起点。可以按下面几步交叉驗證：
- 看 UA 完整字符串是否符合官方格式，而不是只匹配關键字。
- 看来源 IP 是否属于搜尋引擎公布的 IP 段，必要时做反向解析核對。
- 看訪問频率和路径分布，真蜘蛛通常有較稳定的节奏，且會按連結结构展開。
- 看是否請求了 robots.txt、是否有對其他资源的正常抓取行為。
如果這几項里有两三項對不上，那批訪問很可能只是伪装流量，後面的分析就失去意义了。
第二步：在日誌里定位入口頁和目标 URL
確認身份之後，把時間窗口缩小到入口頁上线之後的那几天，然後分层检索：
- 筛出入口頁 URL 的請求记錄，確認狀態碼為 200，且返回体大小正常，没有落到空頁或跳轉。
- 在同一時間段内筛出目标 URL 的請求记錄，看是否出現過。
- 對時間排序，观察入口頁請求和目标 URL 請求的前後關系，是否在同一抓取會话内。
- 看目标 URL 請求的 referer 字段，是否指向入口頁。
注意：搜尋蜘蛛請求目标 URL 时不一定會带 referer。referer 為空並不等于“没從入口頁發現”，只能說明這次請求没有携带来源信息。不要單凭這一列下判断。
第三步：把“已發現”和“已抓取”分開看
這两件事经常被混為一谈。發現是指蜘蛛知道了這個 URL 存在，抓取是指它真的把頁面拉下来。日誌里通常只能看到抓取動作，發現過程更多体現在抓取計划的排队逻辑里。可以這样区分：
- 目标 URL 完全没出現在日誌里：可能是没被發現，也可能是發現了但還没排到抓取計划。
- 目标 URL 出現了但狀態碼是 3xx、4xx：說明已被發現並抓取，問题在目标頁本身。
- 目标 URL 出現且返回 200：說明發現和抓取都走通了，後面看的是内容质量和收錄判定。
几個常见的誤判
- 只看蜘蛛總請求量上升，就認為入口頁生效，忽略了請求集中在入口頁本身而不是目标 URL。
- 把 CDN 或 WAF 日誌当成源站日誌，看不到真實回源情况，回源被拦截时日誌會顯示正常。
- 日誌做了采样或只保留最近几天，導致目标 URL 的請求记錄已经滚掉，誤以為從没被抓。
- 用秒級時間戳對齐时忽略时区差异，把两次不同會话的连接誤判成一次。
记錄习惯上的两点建议
一是保留原始日誌至少覆盖一個完整抓取周期，很多结论要拉長到两三周才看得清趋势。二是给入口頁和目标 URL 用可识別的路径或參數命名，检索时少一层猜测。做到這两点，再回看蜘蛛池的投放動作，判断依據會扎實很多。