标簽：爬虫日誌分析

蜘蛛池入口頁的日誌怎么讀：從訪問记錄里找到该調整的地方

入口頁上线之後，判断依據往往只有服務器压力和疑似蜘蛛的 UA，這太粗。訪問日誌记錄的是蜘蛛實际做了什么：狀態碼分布、頁面命中分布、時間規律、單 IP 行為。本文说清日誌里该看哪几個字段和指标，以及這些數字分別指向哪些配置层面的調整。