做收录自查时，很多人只盯 HTML 页面，结果 site: 一查才发现索引里还混着图片、PDF、JS 文件，甚至一堆带参数拼出来的附件下载地址。这些 URL 本身不一定有害，但如果不分清哪些本该被索引、哪些属于噪音，索引规模会越滚越大，真正需要收录的页面反而更难被关注。
为什么非页面资源也会进索引
蜘蛛抓的是 URL，不是“网页”。只要一个地址能被发现、服务器返回正常、内容看起来有独立价值，它就有机会进入某一类索引。图片、PDF、Office 文档、视频文件通常有各自的检索入口；JS 和 CSS 则是渲染页面必须抓取的文件，被抓取不等于被当作页面收录。
- 附件目录、下载中心被大量内链指向，等于给这些地址开了入口。
- 文件本身的标题、正文文字（PDF 里的文字层）能被解析，就具备被检索的基础。
- sitemap 或内链里混进了文件地址，等于主动提交。
先分清三类，再决定处理方式
第一类：本来就有独立索引价值
图片、产品手册 PDF、公开的视频文件，被对应索引收录通常是好事。要处理的是它们的入口页面——如果每张图、每个文件都配一个几乎没内容的附件页，这些页面才是需要收敛的对象。
第二类：抓取必需但不应算作页面
JS、CSS、字体文件属于这一类。它们被蜘蛛抓取是渲染流程的一部分，正常情况不会出现在页面索引里。如果站点用 robots.txt 把这些文件挡掉，反而可能让页面渲染不完整，影响页面本身的收录判断。
第三类：纯噪音
带参数的下载地址、重复生成的附件副本、后台导出的临时文件。这类 URL 通常没什么内容，被收录也带不来价值，只会稀释对优质页面的抓取与评估。
具体怎么查、怎么收
- 在搜索框用 site: 加目录或 filetype: 组合，看索引里到底有哪些类型。
- 把结果按路径归组，统计哪几个目录贡献了最多 URL，问题通常集中在那里。
- 翻服务器日志，看图片、静态资源、附件请求占比，判断蜘蛛的抓取是不是被这些拖住。
- 检查 sitemap 是否混入了文件与附件地址。
处理手段与注意点
- 入口收敛：能靠内链和 sitemap 控制的部分优先调整，从源头减少发现，比事后清理省力。
- robots.txt 屏蔽：适合完全不需要被访问的目录，但屏蔽只阻止抓取，不保证已收录的地址从索引里消失。
- noindex 类信号：对 HTML 页面可用 meta 指令；对 PDF 等文件需要靠 HTTP 响应头，且不同搜索引擎支持程度不一，改完要留出重新抓取的时间观察。
- 权限与登录：内部文档、报价单这类内容，用访问控制比用收录指令更可靠。
判断标准很简单：这个地址如果出现在搜索结果里，用户点进去会不会觉得“这里本该是一个页面”。答案是否定的，就把它归入噪音处理。
不要顺手做的两件事
一是把所有静态资源目录一刀切屏蔽，可能连渲染所需的文件一起挡住；二是为了“让索引干净”而大规模改 robots.txt 和响应头，改完没有观察期，容易误伤正常页面。分目录小步调整，配合日志和索引报告看变化，节奏更稳。