為什么先看日誌
蜘蛛池上线之後，很多人第一反應是去搜尋资源平台看資料。平台資料有延迟，也未必覆盖全部抓取。服務器本地的 access log 是原始记錄，谁在什么时候請求了哪個 URL、返回了什么狀態、花了多久，都能看到。把日誌讀明白，很多關于“池子到底有没有在起作用”的疑問會直接有答案。
一條日誌里值得看的几個字段
- IP：判断来源，反查归属地和 ASN，能大致区分搜尋引擎與其他流量。
- 時間：看抓取分布在哪几個时段，是否集中。
- User-Agent：這是最容易被伪造的字段，只能当线索，不能当證據。
- 請求 URL：入口頁、中間頁、目标頁各被抓了多少次。
- 狀態碼：200、301、302、404、403、5xx 各自的占比。
- 响應時間與响應字节：TTFB 太長或返回 0 字节，蜘蛛往往就此打住。
- Referer：能看出蜘蛛是從哪個頁面顺着連結爬過来的。
先確認是不是真的搜尋蜘蛛
UA 可以随意填寫，所以判断真伪要结合 IP。常见做法是：把抓取量靠前的 IP 拿去反查，看归属是否属于搜尋引擎的 IP 段；再用搜尋平台提供的驗證方式交叉確認。日誌里如果出現大量同一 IP、UA 寫着百度却請求杂乱路径的记錄，基本可以判断是伪装流量。
從抓取路径看連結有没有爬通
正常顺序是：蜘蛛先抓到入口頁，再從入口頁顺着連結走到下一层，最後到目标頁。如果日誌里入口頁被反复抓取，目标頁却几乎不出現，問题多半在鏈路中間——連結可能被 JS 渲染、被 robots 挡住，或者中間頁返回了错誤。
几個可以直接對照的現象
- 入口頁有抓取、目标頁零抓取：鏈路断了，逐层排查。
- 目标頁有抓取但次數极少：連結位置太深或太靠邊。
- 同一 URL 一天被抓几十次：可能是入口頁連結重复，或頁面被判定為频繁變化。
- 大量 404 與 5xx：先修頁面，再谈引蜘蛛。
狀態碼分布反映池子的健康度
把一天或一周的日誌按狀態碼統計一下，能得到一張直观的健康表。2xx 占比高說明入口頁基本可用；3xx 集中在少數 URL 上，說明存在跳轉鏈；4xx 和 5xx 超過一定比例，就要回头看服務器和内容。
抓取量大不等于有效抓取多。蜘蛛把時間花在 404 和重定向上的那部分，不會轉化成目标頁的抓取。
时段和频率能告诉你节奏對不對
把日誌按小时聚合，能看到蜘蛛集中在哪几個时段来。有的站点抓取集中在凌晨，有的分散在白天。如果某段時間抓取量突然掉到零，先检查服務器是否宕机、是否被 WAF 拦了，再看是不是内容或連結出了問题。节奏稳定的池子，通常不會大起大落。
日誌要留多久，多久看一次
- 日誌至少保留 30 天，便于發現循环性問题和做對比。
- 刚上线或刚調整過入口頁的阶段，建议每天快速掃一眼狀態碼和總量。
- 稳定執行期可以每周做一次匯總，重点看趋势而不是單日波動。
- 調整過任何环节後，隔两三天再看效果，別当天就下结论。
几点提醒
- 日誌本身占空間，注意轮轉和压缩，別把磁盘寫满影响站点。
- 用脚本做基础統計就够了，不必追求复杂报表。
- 不要把日誌里的抓取量直接当成收錄量，两者之間還隔着搜尋平台的判断。
一句话收尾：蜘蛛池是手段，日誌是判断這個手段有没有按预期工作的依據。把讀日誌變成习惯，後續的調整會更有方向。