标簽：爬虫抓取

站点运营：robots.txt，是搜尋蜘蛛URL發現的第一道邊界

robots.txt看似简單，却直接决定搜尋蜘蛛能否進入站点，以及URL發現的范围。本文從站点运营角度，聊聊如何利用robots.txt合理引導蜘蛛，避免誤伤，让重要頁面更快被爬取。