标签：PDF

蜘蛛不止抓 HTML：图片、PDF 与附件在抓取队列里的位置

蜘蛛抓取的基本单位是 URL，而不是网页。图片、PDF、附件只要能被链接到，就可能进入抓取队列。这篇文章说明它们为什么会被抓、会消耗什么，以及按价值分三类安排资源的具体做法。