标签：crawl budget

抓取配额被谁消耗：把抓取机会留给可能被收录的页面

蜘蛛对每个站点的抓取次数是有限的，但很多站点把这份机会浪费在参数页、搜索结果页和错误地址上。本文说明抓取量由哪些因素决定，如何用服务器日志判断抓取花在哪，以及修错误、提速度、收口重复的调整顺序，并提醒不要用异常增长的方式硬刷抓取量。