标簽：連結抓取

蜘蛛池與URL發現：未收錄頁面上的新連結，搜尋蜘蛛會去抓取吗？

很多站点运营者以為頁面没收錄，蜘蛛就不會理會其中的連結。實际上，搜尋蜘蛛在抓取頁面时就會提取連結，不一定等頁面先被收錄。本文解释蜘蛛如何通過未收錄頁面發現新URL，以及提升這種几率的方法。