标签：出链结构

蜘蛛走进死胡同：那些没有出链的页面怎样卡住抓取路径

蜘蛛在站内移动靠的是链接。本文说明哪些页面会被当作死胡同、它们为什么拖慢抓取覆盖率，以及列表页、归档页、文章页分别该怎么补上出链。也给出用爬虫工具和日志自查的方法，并列出处理时的几条取舍原则。