标签：收录速度

同一批新页面收录速度不同：爬虫先抓谁、后抓谁，由什么决定

同一批上线的页面，收录速度却常常差很多。这篇从抓取额度的分配说起，拆解内链位置、更新信号、站点健康度和页面抓取成本如何影响爬虫的排队顺序，并给出一份可以自己动手的小型对照实验，帮你判断页面是排在了队尾，还是被信号挡在了门外。