标签：链接抓取

蜘蛛池与URL发现：未收录页面上的新链接，搜索蜘蛛会去抓取吗？

很多站点运营者以为页面没收录，蜘蛛就不会理会其中的链接。实际上，搜索蜘蛛在抓取页面时就会提取链接，不一定等页面先被收录。本文解释蜘蛛如何通过未收录页面发现新URL，以及提升这种几率的方法。