标簽：PDF索引

图片、PDF 和附件也被收錄了：非 HTML 资源的索引規則與處理顺序

抓取一個 URL 和它進入索引並不是一回事，非 HTML 资源的表現尤其不同。本文說明图片、PDF、附件和接口文件各自會進入哪類索引，什么情况下值得保留，什么情况下需要清理，並给出從刪除、robots.txt 到 X-Robots-Tag 的處理顺序和一份自查清單。