很多站点在核对索引量时发现，真正被大量收录的不是详情页，而是下载目录里的 PDF、Excel、PPT、图片附件，甚至打包的 zip。这些地址往往没有导航入口，只在列表页以链接形式出现，却能被蜘蛛顺着抓走并进入索引。
遇到这种情况，不建议看到就一律屏蔽。附件本身可能对用户有价值，也可能承担对外资料传递的作用。比较稳妥的做法是先分类，再决定处理方式。
第一步：先分清附件属于哪一类
- 对外资料：产品手册、白皮书、说明书、报价单等，本来就想让用户搜到并下载的。
- 内部文件：内部培训、会议记录、临时上传、工单附件等，不应该对外可见的。
- 衍生文件：同一份内容既有网页版又有 PDF 版，PDF 只是打印或导出用的。
- 无意义文件：测试上传、空模板、随机命名的文件、反复上传的旧版本。
第二步：按类型确定处理方向
对外资料：保留，但要补上规范
这类文件可以收录，前提是让它有一个明确的“身份”，而不是一个孤零零的文件地址。
- 重要附件配一个独立的落地页，写清标题、简介、用途和更新日期，下载链接放在页面里。
- 页面上标注文件大小、页数、版本号，减少用户下载后才发现不是想要的内容。
- 同一份内容既有网页版又有 PDF 时，选一个作主版本，用 canonical 指向网页版，PDF 留在服务器上供下载。
内部文件：屏蔽的同时要改入口
不要在 sitemap 里提交，robots.txt 屏蔽对应目录只是第一步，更关键的是把文件移出公开目录或加上访问控制。已经进入索引的地址，先确认服务端返回 404、403 或加上 noindex，再走后续的移除流程。
robots.txt 只能阻止继续抓取，不能删除已经建立的索引条目。想让地址从索引里消失，通常需要页面返回可识别的状态码，或给出明确的 noindex 信号。
衍生文件：合并，不要两份都留
同一内容的 PDF 版和网页版同时被收录，很容易造成重复。保留网页版用于收录，PDF 用于下载，两者的标题和摘要做出区分，避免完全相同的标题同时出现在索引里。
无意义文件：直接从源头清理
测试文件、旧版本、随机命名文件，能从服务器删除的就删除并返回 404。数量大的目录可以整体屏蔽抓取，同时回头看上传流程，避免继续产生同类文件。
第三步：收口顺序
- 导出附件地址清单，用日志、sitemap、site 查询三条路径交叉核对。
- 按上面四类逐个打标签，标出必须保留的部分。
- 处理服务端状态：内部文件返回 404 或加访问限制。
- 更新 robots.txt 与 sitemap：保留的附件补落地页入口，屏蔽的不再提交。
- 更新内链：把直接指向文件的链接改成指向落地页。
- 观察一段时间，用日志看抓取频次是否下降，用 site 查询看索引条目是否减少。索引更新有延迟，不要频繁反复操作。
几个容易踩的坑
- 只在 robots.txt 里 Disallow，索引里还留很久，于是误以为处理无效。
- 把下载目录整目录屏蔽，结果连对外资料的落地页也一起被挡。
- sitemap 里提交了成千上万个附件地址，等于主动邀请蜘蛛去抓。
- 同一份材料反复导出多个版本，版本号不同但内容一致，形成新的重复。
附件被收录本身不是错误，问题在于你有没有对它们做过明确判断。先分类，再决定保留、规范化还是清理，比看到一堆文件就通通屏蔽要稳得多。