蜘蛛池跑了一段時間，後台或第三方工具顯示“有抓取”，但目标 URL 迟迟没有動静。這时候比較靠得住的判断依據不是工具面板，而是自己服務器的訪問日誌。下面按實际操作顺序，说清楚日誌里该看什么、哪些情况容易誤判。
先把两個概念分開：来過入口頁不等于目标 URL 被识別
入口頁被請求，只說明搜尋蜘蛛拿到了這一頁的 HTML。目标 URL 能不能進入它的待抓队列，還取决于連結是否被正确解析、是否被規則拦住，以及目标站点本身是否可達。日誌排查的目的，就是把這几個环节拆開看，而不是笼统地看“今天来了多少蜘蛛”。
日誌里重点看這几列
- User-Agent：百度是 Baiduspider，Google 是 Googlebot。注意 UA 可以被伪造，單看 UA 不足以確認。
- 反向解析的域名：把 IP 做一次反查，再正向解析回来是否一致，是区分真假蜘蛛比較稳的做法。
- 請求路径與狀態碼：入口頁返回 200 才算正常把内容交出去；403、404、503 都會让後面的解析無從谈起。
- 响應字节數：字节數明顯偏小，通常意味着返回的是错誤頁或空白頁，連結自然不存在。
- Referer：如果目标站点的日誌里出現来自入口頁的 Referer，說明這一跳至少發生過一次。
怎么判断目标 URL 真的被识別了
把入口頁日誌和目标 URL 所在站点的日誌對照着看：入口頁出現蜘蛛請求的時間点之後，目标站点是否在相近時間出現同一 UA 的請求。如果入口頁有訪問、目标站点完全没有，問题很可能出在連結解析或出口規則上，而不是“蜘蛛没来”。
另一種情况是目标 URL 被抓了但没被收錄，這属于另一個問题：抓取只代表蜘蛛確認了這個地址存在，是否收錄還要看内容质量、站点整体情况等，日誌层面解释不了。
几種常见誤判
- 站点前面套了 CDN 或反向代理，日誌落在邊缘节点，看到的 UA 和真實来源已经變形，要回源日誌或開啟真實 IP 透传。
- 只統計了“蜘蛛總抓取量”，把入口頁自身的抓取也算進去了，看起来數字好看，其實目标 URL 一次没碰。
- 把日誌按天切分後只看了当天，實际蜘蛛是隔了几天才回来的，需要拉一周以上的区間看趋势。
- 用工具查到的抓取資料和日誌對不上，一般以日誌為准；工具多是抽样或基于站点授權資料的估算。
一個可执行的排查顺序
- 確認入口頁在日誌里有真實蜘蛛的 200 响應，並记下時間点。
- 查看该次响應的字节數，確認返回的是完整 HTML 而不是错誤頁。
- 本地用同一 UA 拉一次入口頁，看連結是否出現在 HTML 源碼里，而不是只在 JS 渲染後才出現。
- 去目标站点日誌里找同一時間段的對應請求，確認是否跟進了。
- 如果没有跟進，检查 robots.txt、nofollow、跳轉方式這類拦截面。
- 如果跟進了但没收錄，轉去排查目标頁自身的内容與站点狀態。
日誌是最不容易骗人的一份資料，但前提是它记的是真實請求。先保證訪問来源没有被 CDN 或反代改寫，後面的判断才有意义。
小结
與其盯着“蜘蛛有没有来”，不如把問题拆成“入口頁是否被正常抓取”和“目标 URL 是否被跟進”两步，各自用日誌驗證。這样即使蜘蛛池没起作用，也能較快定位是入口頁的問题、規則的問题，還是目标站点自己的問题。