标簽：PDF

蜘蛛不止抓 HTML：图片、PDF 與附件在抓取队列里的位置

蜘蛛抓取的基本單位是 URL，而不是網頁。图片、PDF、附件只要能被連結到，就可能進入抓取队列。這篇文章說明它們為什么會被抓、會消耗什么，以及按價值分三類安排资源的具体做法。