搜
抓取被拦截的识別：驗證碼、WAF 與限速响應的日誌特征
抓取量下降时，很多人先怀疑入口或 Sitemap，其實請求可能在中途被拦下了。本文梳理驗證碼頁、WAF 規則與限速响應在抓取日誌里的常见特征，包括狀態碼突變、响應体偏小、抓取間隔拉長，並给出從日誌核對到修复的排查顺序。
阅讀全文 →搜
软 404 與空壳頁：返回 200 的地址在抓取日誌里怎么识別
很多地址返回 200，但頁面没有實质内容，蜘蛛抓過一次就不再回訪。這類软 404 與空壳頁不會报错，需要在响應体大小、内容模板與抓取日誌里交叉核對。本文给出识別思路與處理顺序，包括模板頁、空搜尋结果頁、參數组合頁的取舍，以及源站與 CDN 返回结果不一致时的排查方向。
阅讀全文 →