标簽：待抓取队列

URL 被發現了却没被抓取：待抓取队列里的頁面卡在哪一步

頁面狀態停在“已發現”却迟迟等不到蜘蛛訪問，往往不是提交方式的問题。這篇文章区分了已發現、已抓取、已编入索引三種狀態，梳理待抓取队列的排序逻辑，並给出從 robots、响應速度、内鏈、站点地图到頁面價值的排查顺序，以及等待期里更值得做的几件事。