做收錄自查时，很多人只盯 HTML 頁面，结果 site: 一查才發現索引里還混着图片、PDF、JS 文件，甚至一堆带參數拼出来的附件下载地址。這些 URL 本身不一定有害，但如果不分清哪些本该被索引、哪些属于噪音，索引規模會越滚越大，真正需要收錄的頁面反而更难被關注。
為什么非頁面资源也會進索引
蜘蛛抓的是 URL，不是“網頁”。只要一個地址能被發現、服務器返回正常、内容看起来有獨立價值，它就有机會進入某一類索引。图片、PDF、Office 文档、视频文件通常有各自的检索入口；JS 和 CSS 則是渲染頁面必须抓取的文件，被抓取不等于被当作頁面收錄。
- 附件目錄、下载中心被大量内鏈指向，等于给這些地址開了入口。
- 文件本身的标题、正文文字（PDF 里的文字层）能被解析，就具备被检索的基础。
- sitemap 或内鏈里混進了文件地址，等于主動提交。
先分清三類，再决定處理方式
第一類：本来就有獨立索引價值
图片、产品手册 PDF、公開的视频文件，被對應索引收錄通常是好事。要處理的是它們的入口頁面——如果每張图、每個文件都配一個几乎没内容的附件頁，這些頁面才是需要收敛的對象。
第二類：抓取必需但不應算作頁面
JS、CSS、字体文件属于這一類。它們被蜘蛛抓取是渲染流程的一部分，正常情况不會出現在頁面索引里。如果站点用 robots.txt 把這些文件挡掉，反而可能让頁面渲染不完整，影响頁面本身的收錄判断。
第三類：纯噪音
带參數的下载地址、重复生成的附件副本、後台導出的临时文件。這類 URL 通常没什么内容，被收錄也带不来價值，只會稀释對優质頁面的抓取與评估。
具体怎么查、怎么收
- 在搜尋框用 site: 加目錄或 filetype: 组合，看索引里到底有哪些類型。
- 把结果按路径归组，統計哪几個目錄贡献了最多 URL，問题通常集中在那里。
- 翻服務器日誌，看图片、静態资源、附件請求占比，判断蜘蛛的抓取是不是被這些拖住。
- 检查 sitemap 是否混入了文件與附件地址。
處理手段與注意点
- 入口收敛：能靠内鏈和 sitemap 控制的部分優先調整，從源头减少發現，比事後清理省力。
- robots.txt 屏蔽：适合完全不需要被訪問的目錄，但屏蔽只阻止抓取，不保證已收錄的地址從索引里消失。
- noindex 類信号：對 HTML 頁面可用 meta 指令；對 PDF 等文件需要靠 HTTP 响應头，且不同搜尋引擎支持程度不一，改完要留出重新抓取的時間观察。
- 權限與登入：内部文档、报價單這類内容，用訪問控制比用收錄指令更可靠。
判断标准很简單：這個地址如果出現在搜尋结果里，用戶点進去會不會觉得“這里本该是一個頁面”。答案是否定的，就把它归入噪音處理。
不要顺手做的两件事
一是把所有静態资源目錄一刀切屏蔽，可能连渲染所需的文件一起挡住；二是為了“让索引干净”而大規模改 robots.txt 和响應头，改完没有观察期，容易誤伤正常頁面。分目錄小步調整，配合日誌和索引报告看變化，节奏更稳。