标簽：crawl budget

抓取配額被谁消耗：把抓取机會留给可能被收錄的頁面

蜘蛛對每個站点的抓取次數是有限的，但很多站点把這份机會浪費在參數頁、搜尋结果頁和错誤地址上。本文說明抓取量由哪些因素决定，如何用服務器日誌判断抓取花在哪，以及修错誤、提速度、收口重复的調整顺序，並提醒不要用異常增長的方式硬刷抓取量。