标签：抓取密度

蜘蛛池与URL发现：单个页面投放多少条目标链接比较合适？

在蜘蛛池里投放目标URL时，单个页面放多少条链接经常让人纠结。本文从搜索蜘蛛的链接提取成本和抓取排队机制出发，说明少量精投、中等密度、批量列表三种投放方式的适用场景，并给出通过日志抓取比例、抓取间隔来判断密度是否合适的实操方法。