标签：PDF索引

图片、PDF 和附件也被收录了：非 HTML 资源的索引规则与处理顺序

抓取一个 URL 和它进入索引并不是一回事，非 HTML 资源的表现尤其不同。本文说明图片、PDF、附件和接口文件各自会进入哪类索引，什么情况下值得保留，什么情况下需要清理，并给出从删除、robots.txt 到 X-Robots-Tag 的处理顺序和一份自查清单。