标签：资源抓取

图片、PDF、视频：非 HTML 资源的收录逻辑和常见卡点

网页之外，图片、PDF、视频等非 HTML 资源同样可能进入搜索索引，但它们的发现和收录路径与普通页面不同。本文梳理资源被爬到的入口、图片与文档各自的判断依据，以及 robots、CDN、临时参数等容易让资源一直进不了索引的细节。