标签：非HTML文件

非 HTML 文件被收录了：PDF、图片和附件该留还是该清

很多运营只盯 HTML 页面，直到用 site: 一查才发现索引里躺着大量 PDF、图片和早期文档。这类非 HTML 文件搜索引擎同样会抓取解析，处理方式也和普通页面不同。本文先帮你分清哪些该留、哪些该清，再对比 robots.txt、X-Robots-Tag、权限控制和删除几种手段的实际差别，给出一套可以照着走的排查与执行顺序。