标簽：非HTML文件

非 HTML 文件被收錄了：PDF、图片和附件该留還是该清

很多运营只盯 HTML 頁面，直到用 site: 一查才發現索引里躺着大量 PDF、图片和早期文档。這類非 HTML 文件搜尋引擎同样會抓取解析，處理方式也和普通頁面不同。本文先帮你分清哪些该留、哪些该清，再對比 robots.txt、X-Robots-Tag、權限控制和刪除几種手段的實际差別，给出一套可以照着走的排查與执行顺序。