标簽：出鏈结构

蜘蛛走進死胡同：那些没有出鏈的頁面怎样卡住抓取路径

蜘蛛在站内移動靠的是連結。本文說明哪些頁面會被当作死胡同、它們為什么拖慢抓取覆盖率，以及列表頁、归档頁、文章頁分別该怎么补上出鏈。也给出用爬虫工具和日誌自查的方法，並列出處理时的几條取舍原則。