搜
抓取被拦截的识别：验证码、WAF 与限速响应的日志特征
抓取量下降时，很多人先怀疑入口或 Sitemap，其实请求可能在中途被拦下了。本文梳理验证码页、WAF 规则与限速响应在抓取日志里的常见特征，包括状态码突变、响应体偏小、抓取间隔拉长，并给出从日志核对到修复的排查顺序。
阅读全文 →搜
软 404 与空壳页：返回 200 的地址在抓取日志里怎么识别
很多地址返回 200，但页面没有实质内容，蜘蛛抓过一次就不再回访。这类软 404 与空壳页不会报错，需要在响应体大小、内容模板与抓取日志里交叉核对。本文给出识别思路与处理顺序，包括模板页、空搜索结果页、参数组合页的取舍，以及源站与 CDN 返回结果不一致时的排查方向。
阅读全文 →