做蜘蛛池的人常被一個問题困住：铺了這么多入口頁，到底有没有用？最直接的答案是看日誌里蜘蛛来了多少次，但這個數字几乎是所有指标里最容易被誤讀的一個。
同一個入口頁被蜘蛛反复抓取十次，和十個新 URL 各被抓一次，日誌里都寫着十次抓取，含义完全不同。评估蜘蛛池的效果，需要把蜘蛛来過，和蜘蛛把 URL 带走了、並且繼續往下走，当成两件事来看。
一、把评估拆成三层：發現、抓取、收錄
這三层是递進關系，但经常被混在一起讨论：
- 發現：入口頁上的連結有没有被蜘蛛讀到，新 URL 第一次出現在日誌里花了多久。
- 抓取：目标 URL 被真正請求的次數、狀態碼、返回内容是否正常。
- 收錄：目标 URL 是否進入索引，以及在搜尋结果里的表現。這一层已经超出蜘蛛池能直接控制的范围。
蜘蛛池主要作用在第一层和第二层。如果连發現都没做到，讨论收錄就没有意义；反過来，發現和抓取都正常但收錄不理想，問题大概率不在蜘蛛池這一侧。
二、入口頁侧该记錄的指标
- 入口頁被爬比例：铺出去 100 個入口頁，一段時間内有多少個真的被請求過。
- 單頁抓取频次分布：是集中在少數几個頁面，還是相對均匀。
- 新連結首次被抓時間：從入口頁上线到目标 URL 首次出現在日誌，中位數是多少。
- 狀態碼分布：200、301、404、5xx 各占多少。5xx 比例偏高會直接影响後續抓取。
- 爬取深度：蜘蛛從入口頁往下走了几层，是停在入口頁還是進到了目标頁。
三、目标站侧该记錄的指标
只看入口頁日誌，會漏掉最關键的一段：蜘蛛到底有没有到目标站。
- 目标頁首次被抓時間，以及和入口頁上线時間的間隔。
- 目标站的抓取總量變化，注意区分新 URL 抓取和舊頁面重爬。
- 内頁抓取占比：如果蜘蛛只在首頁和栏目頁打轉，說明送過来的抓取没有真正延伸下去。
- 抓取时段與来源 IP、UA 的分布，用来判断是不是同一批蜘蛛在重复劳動。
四、几個容易把人带偏的數字
日誌里蜘蛛總次數上涨，不一定代表蜘蛛池起作用了。它可能只是同一個入口頁被高频重爬，或者被代理、缓存、镜像重复记錄。
- 總量陷阱：總抓取次數受站点規模影响极大，跨站点比較没有意义，只适合自己和自己比。
- UA 冒充：日誌里的 UA 字段可以伪造，把明顯不符合爬虫行為的請求也算進去，數字會虚高。
- 重复計數：CDN、反向代理、多台源站的日誌合並时，同一次抓取可能被记成两三次。
- 短期波動：蜘蛛的抓取节奏本身有周期性，一两天的涨跌說明不了問题。
五、建立自己的判断基线
- 固定一批入口頁作為样本，不要每天換，样本變了資料就不可比。
- 固定观察周期，比如按周或按两周統計，避免被日間波動干扰。
- 同时记錄入口頁侧和目标站侧的資料，两邊對不上的地方往往就是問题所在。
- 改動尽量只做一項，比如只調整入口頁结构或只換一批域名，這样才能看出是什么起了作用。
- 保留改動前的基线資料，没有對照就很难判断變化是不是自己带来的。
六、指标不理想时，先查哪几處
發現层没動静，先看入口頁是否可訪問、robots 是否放行、連結是不是蜘蛛能直接跟随的普通 a 标簽。抓取层有量但目标站没動静，重点看跳轉方式、中間頁是否返回了错誤狀態、目标頁本身是否被屏蔽。目标站有抓取但内頁不動，多半要回到站内结构和内容质量上找原因，這部分已经不是蜘蛛池能解决的了。
把评估做扎實的意义在于：能分清問题出在蜘蛛池、目标站，還是两者之間的环节，避免一直在错誤的地方加量。