蜘
蜘蛛池日志里的真假蜘蛛：UA 可以伪造，怎么确认来访的是搜索引擎
日志里的 User-Agent 是一行可以被随手改写的字符串，只按它统计蜘蛛来访量，数字往往会虚高。本文从 IP 归属校验、反向解析与正向解析、抓取行为特征三个角度，讲怎么把真蜘蛛和伪装爬虫分开，并给出把验证做进日志处理流程的实用建议。
阅读全文 →蜘
蜘蛛池日志里的假蜘蛛：UA 可以伪装，行为骗不过去
访问日志里带 Googlebot、Bingbot 等 UA 的请求，不一定来自搜索引擎。本文说明伪装蜘蛛的常见来源、如何用反向解析、行为特征与请求路径交叉验证，以及误判给蜘蛛池统计和资源带来的干扰，并给出可落地的区分与处理建议。
阅读全文 →蜘
蜘蛛池访问日志的时间口径：时区、日志切割与统计误差
很多站长查看蜘蛛抓取量时发现不同工具数字对不上，第一反应是蜘蛛池失效。其实常见原因是日志时间口径不一致：服务器时区、日志切割点和统计窗口都会影响结果。本文说明如何把访问日志的时间对齐，减少误判。
阅读全文 →