标簽：抓取密度

蜘蛛池與URL發現：單個頁面投放多少條目标連結比較合适？

在蜘蛛池里投放目标URL时，單個頁面放多少條連結经常让人纠结。本文從搜尋蜘蛛的連結提取成本和抓取排队机制出發，說明少量精投、中等密度、批量列表三種投放方式的适用场景，並给出通過日誌抓取比例、抓取間隔来判断密度是否合适的實操方法。