先分清两层抓取
蜘蛛池里最常见的错觉，是把“入口頁被訪問”当成了“目标頁被抓取”。這两件事在日誌里長得完全不一样：入口頁的請求是一條记錄，目标頁的請求是另一條记錄，中間可能隔着一次或多次跳轉。如果只盯着入口頁的訪問量做判断，很容易高估整條鏈路的實际效果。
驗證的目的不是證明蜘蛛池“有用”，而是搞清楚：爬虫走到了第几层，在哪一步停下来了。這個信息决定了下一步该改入口頁、改連結结构，還是干脆換一批资源。
三種可用的驗證信号
1. 服務器日誌里的目标頁记錄
最直接的證據。目标頁所在服務器的訪問日誌里，出現来自搜尋引擎 IP 段的請求，並且 UA 與 IP 归属能對得上，才算一次比較可信的抓取。注意区分入口頁請求和目标頁請求——两者的時間戳和訪問路径往往不同，混在一起統計就會失真。
2. 請求的先後顺序與時間間隔
同一批 IP 在几分钟内先請求入口頁、随後請求目标頁，這種顺序關系比單條记錄更有说服力。如果入口頁和目标頁的抓取時間隔了好几天，或者分別来自完全不同的 IP 段，基本可以判断两次抓取没有因果關系，只是巧合。
3. 站外可观测的信号
第三方工具顯示的抓取频次、索引狀態變化，可以作為辅助參考，但不适合單獨作為结论。這類信号受域名歷史、内容质量等多種因素影响，用它来證明入口頁的引導是否生效，誤差會比較大。
容易造成誤判的几種情况
- UA 可以伪造。日誌里寫着某搜尋引擎的 UA，不代表真的来自對應 IP 段，两邊信息要一起看。
- CDN 缓存不产生回源日誌。如果入口頁或目标頁走了 CDN，爬虫拿到的是缓存副本，源站日誌里可能什么都看不到，容易被誤判為“没被抓”。
- 只抓了入口頁就离開。這是最常见的失敗形態，日誌上表現為入口頁有訪問、目标頁是空的，通常和連結埋得太深、可点区域不明顯有關。
- 被自己的监测程序刷出来的记錄。如果驗證脚本的 UA 或 IP 與真實爬虫相近，排查前要先過滤掉這部分。
一套最小可行的驗證流程
- 選出 5 到 10 個有代表性的入口頁，並记錄它們各自指向的目标頁 URL。
- 在目标頁服務器上按 IP 段和 UA 過滤日誌，只保留真實爬虫的請求。
- 把入口頁的請求時間和目标頁的請求時間拉到同一張表里做對照。
- 标记出“只有入口頁、没有目标頁”的样本，統計所占比例。
- 對失敗样本做單点排查：先看連結是否可抓取，再看跳轉是否被拦，最後才考虑入口頁本身的质量問题。
驗證结果怎么用
如果大部分样本都能走通，說明現有结构是有效的，接下来该做的是维持节奏、小步調整，而不是频繁改動结构。如果失敗比例偏高，優先检查三件事：入口頁到目标頁的路径長度、中間是否存在 JS 跳轉或跳轉鏈、以及 robots.txt 是否誤拦了目标頁路径。
還有一点值得提醒：抓取驗證是周期性動作，不是一次性的。入口頁今天能引導成功，不代表下周還行，尤其是资源轮換比較频繁的池子，建议固定一個不太長的間隔重复抽样。
驗證的價值在于获得一條可比較的基线。有了基线，改動才有參照，否則每一次調整都只是在猜。