标签：非HTML资源

非 HTML 资源的收录：PDF、图片与附件的处理思路

蜘蛛抓的不只是页面，PDF、图片、附件同样会占用抓取，其中一部分还会进入索引。本文梳理非 HTML 资源常见的收录问题：同一文档的多个 URL、与页面内容重复、缺少入口与上下文，并给出一份判断附件是否值得进索引的检查清单。