做蜘蛛池的人常看两類資料：一是統計後台里的“蜘蛛訪問次數”，二是服務器日誌。前者直观但容易失真，後者枯燥却更接近事實。如果只能選一個，建议以日誌為准，把它当作判断入口頁成败的底本。
日誌里真正有用的几列
一份标准的訪問日誌，能用的字段其實不多，但每一列都有明确用途：
- 時間：判断抓取频次和分布，是後續做關联分析的基础。
- 客戶端 IP：比 UA 更值得信任的归並维度。
- UA：辅助识別，但不能單獨作為结论。
- 請求 URL：区分入口頁和目标頁。
- 狀態碼：200 之外都值得單獨看一眼。
- 响應字节：字节為 0 或极小，多半說明内容没正常輸出。
- Referer：對本场景帮助有限，原因见下文。
很多人只盯着 UA，看到带 spider 字样就認為成功。但 UA 可以伪造，同一只蜘蛛也可能在不同时段使用不同的 UA 头。更稳的做法是先按 IP 归並，再看這個 IP 在時間轴上的行為是否连贯。
判断入口頁是否有效的三個基础指标
一、入口頁的獨立 IP 訪問量
注意是獨立 IP，不是請求數。同一個蜘蛛在一次抓取中可能连續請求几十次，把請求數当蜘蛛數量，會把效果放大十倍以上。
二、抓取频次與時間分布
偶尔被抓一次和每天稳定被抓若干次，含义完全不同。前者可能只是偶然路過，後者說明入口頁已经被纳入常規抓取范围。
三、目标頁是否出現同源請求
這才是蜘蛛池真正關心的部分。入口頁被抓只是過程，目标頁被触及才是结果。
四種常见誤讀
- 把請求數当蜘蛛數：數字好看，但结论错誤。
- 只看 CDN 邊缘日誌：邊缘命中缓存时不會回源，回源日誌會漏掉一部分真實抓取，两者要结合看。
- 忽略非 200 响應：301、302、404、429 都在传递信号，只統計 200 會漏掉問题鏈路。
- 用統計工具的數字直接下结论：統計脚本本身可能被拦截、可能失准，與日誌對不上时以日誌為准。
時間窗關联法
搜尋引擎蜘蛛在跳轉时通常不携带 Referer，所以没法靠 Referer 直接追出“入口頁→目标頁”的鏈路。可行的替代办法是時間窗關联：先标出入口頁被抓的時間点，再看接下来几分钟到几十分钟内，目标頁是否出現了同 IP 或同 IP 段的請求。命中率不必追求百分之百，但如果目标頁的抓取频率在入口頁被抓之後出現明顯抬升，基本可以判断鏈路是通的。
日誌能證明的是“抓取發生過”，不等于“頁面被收錄”，更不等于“有排名”。把日誌当成過程指标，而不是结果指标，心態會稳很多。
可落地的几條建议
- 日誌按天切割儲存，至少保留 30 天，方便做周對比。
- 寫個小脚本過滤 UA 和 IP，分別輸出入口頁清單和目标頁清單。
- 趋势按周看，不要因為某一天的數字波動就調整策略。
- 對连續多周没有任何 IP 訪問的入口頁做标记，分批下线，別让它們繼續占资源。
- 日誌與統計後台對不上时，優先相信日誌，並回头检查統計脚本的加载情况。
日誌分析不复杂，难的是坚持。真正拉開差距的，往往不是谁铺的入口頁更多，而是谁更清楚自己铺的那些頁面到底有没有被蜘蛛走過、走到了哪一层。