标簽：收錄速度

同一批新頁面收錄速度不同：爬虫先抓谁、後抓谁，由什么决定

同一批上线的頁面，收錄速度却常常差很多。這篇從抓取額度的分配说起，拆解内鏈位置、更新信号、站点健康度和頁面抓取成本如何影响爬虫的排队顺序，並给出一份可以自己動手的小型對照實驗，帮你判断頁面是排在了队尾，還是被信号挡在了门外。