标签：站点资源治理

非 HTML 资源的收录：PDF、图片和视频该不该进索引

站点的 PDF 说明书、产品图、演示视频同样是被爬虫抓取的独立 URL，只是进入的是网页、图片、视频等不同索引。本文说明这类资源的收录前提、重复版本与历史遗留文件的处理方式，并给出按用途判断放行、以及排查非 HTML 资源收录状态的先后顺序。