标簽：爬虫行為分析

爬虫来過了，收錄却没有變化：用訪問日誌核對抓取與收錄

抓取次數增加不等于收錄结果變化。爬虫訪問日誌只能證明頁面被取走，不能證明頁面已入库或以哪個版本入库。這篇文章给出用日誌、响應内容和索引狀態做對照的排查顺序，帮你判断頁面究竟卡在抓取、渲染還是质量环节。