标签：待抓取队列

URL 被发现了却没被抓取：待抓取队列里的页面卡在哪一步

页面状态停在“已发现”却迟迟等不到蜘蛛访问，往往不是提交方式的问题。这篇文章区分了已发现、已抓取、已编入索引三种状态，梳理待抓取队列的排序逻辑，并给出从 robots、响应速度、内链、站点地图到页面价值的排查顺序，以及等待期里更值得做的几件事。