做蜘蛛池的人常有一個共同的困惑：入口頁铺了几百上千個，每天也看服務器日誌，抓取记錄零零散散，但说不清這套東西到底有没有在工作。問题往往不在池子本身，而在于没有固定的观测口径——今天看總請求數，明天看狀態碼，後天看 User-Agent，每次得出的结论都不一样，也就没法比較。
這篇讲的是观测方法，不讨论怎么让蜘蛛多来。目标只有一個：让你在两周、一個月這样的時間尺度上，能判断入口頁是在正常运轉、在缓慢退化，還是已经空轉。
先分清三類可观测的東西
蜘蛛池的鏈路很長，從入口頁到目标頁中間隔着跳轉、渲染和抓取調度。如果不先把观测對象分開，很容易把 A 的表現算到 B 头上，最後归因全错。
- 發現层：蜘蛛有没有来請求入口頁的 URL。這一层看訪問日誌最直接，有就是有，没有就是没有。
- 抓取层：請求之後有没有把入口頁正常取走。看狀態碼、响應体积、是否被 robots 或 meta robots 挡住。
- 後續层：蜘蛛有没有顺着入口頁繼續走到你真正關心的頁面。這一层在入口頁日誌里只能看到間接线索，需要结合目标頁自身的訪問记錄一起看。
日誌里真正值得看的字段
一條訪問记錄能拆出很多信息，但日常观测不需要全部。下面几項基本够用：
- 請求時間：用来判断訪問是集中在某個时段還是全天分散。
- 完整請求 URL：注意带參數和不带參數要分開統計，否則同一個入口頁會被算成好几條。
- 狀態碼：区分正常、被拦、找不到、服務端出错四類。
- User-Agent：用于初步区分来源，但不要只凭它下结论。
- 来源 IP：观察是否集中在少數網段。
- 响應字节數：這一項经常被忽略，但很有用。狀態碼 200 但字节數接近零，通常意味着頁面是空的或被中途截断。
三個容易被誤讀的指标
單日抓取總量
這個數字每天的波動本来就不小，看绝對值意义有限，看一段時間内的趋势才有參考價值。如果某天翻倍，先別急着高兴，看看是不是把自己家的监控程序也統計進去了。
200 狀態碼的占比
200 占比高，只能說明服務器没拒绝請求，不能說明頁面内容對蜘蛛有價值。一個返回 200 的空壳頁，和一個返回 200 的正常頁，在狀態碼統計里長得一模一样。
User-Agent 與 IP 的對應關系
同一個 UA 大量来自同一個 C 段，或者 UA 與已知搜尋蜘蛛的标识對不上，都值得留個心。日誌里的标识可以伪造，不要只靠單一维度判断。
给自己搭一張简單的观测表
不需要复杂系統，一張表加几行脚本就能跑起来：
- 每天固定同一時間導出前一天的日誌，時間点不要随意變動。
- 按入口頁 URL 归類，統計每個 URL 被請求的次數。
- 记錄狀態碼分布和平均响應字节數。
- 每周匯總一次，且只和上周同一口径的資料比。
- 至少保留两周以上的歷史，否則看不出是波動還是變化。
几種典型的自欺场景
- 只看總請求數，不看這些請求落在哪些 URL 上。
- 把自家的可用性监控、爬虫程序算成搜尋蜘蛛的訪問。
- 把入口頁被訪問等同于鏈路有效，完全不看後續层。
- 資料刚有波動就改配置，導致前後完全不具可比性。
观测之後要做什么
观测的目的不是每天調參數。多數时候，資料有起伏是正常的，這时候最该做的是不動。真正需要處理的信号其實只有几類：某個入口頁连續多天零請求；狀態碼出現大面积異常；响應字节數整体突然掉到接近零；或者某個網段的訪問占比短時間内明顯上升。
不同站点、不同域名、不同时期的表現差別很大，別人的數字只能当參照，不能当标准。观测真正的價值，在于跟自己的歷史比，而不是跟別人的截图比。