标簽：非HTML资源

非 HTML 资源的收錄：PDF、图片與附件的處理思路

蜘蛛抓的不只是頁面，PDF、图片、附件同样會占用抓取，其中一部分還會進入索引。本文梳理非 HTML 资源常见的收錄問题：同一文档的多個 URL、與頁面内容重复、缺少入口與上下文，並给出一份判断附件是否值得進索引的检查清單。