查收录的时候，经常会看到一些意料之外的地址：上传目录里的图片、放在根目录的 PDF、附件下载页、缩略图预览页、用户上传的文件列表。这些页面本身没有多少可读文本，也没有对应的搜索需求，却实实在在进了索引。
它们不是错误，但如果数量多、又长期没有价值，会占用抓取资源，也会让站点在索引里的整体构成变得模糊。要不要处理、怎么处理，先别一概而论。
先看它有没有可读内容和明确任务
判断一个非正文页面值不值得留在索引里，可以从两个问题入手。
- 用户打开它，能不能得到完整答案？比如图片页只有一张图和一串文件名，PDF 打开就是下载，那它更像资源的容器，不是页面。
- 有没有人真的会搜索它？协议文档、说明书、公开报告的 PDF，本身就是搜索目标，这类不仅该留，还值得给标题、给描述、给上下文。
反过来，纯缩略图、纯附件下载、被系统自动生成的预览地址，通常两项都不满足。
常见的三类附属页面
图片与媒体文件
图片单独成一个 HTML 页面，且页面上没有说明文字、没有所属内容入口，这类页面很难被当成独立答案。它更适合作为上级内容页的一部分存在。若确实需要独立展示，就给它标题、说明、来源链接，让它变成一个可读页面。
PDF 和文档附件
附件的问题不在于格式，而在于有没有替代页面。如果一份 PDF 的内容，站内已经有对应正文页，两边又都在索引里，就容易形成内容近似。此时常见做法是把正文页作为主要版本，附件只作为下载入口，不单独作为收录目标。
系统生成的列表页与预览页
标签、搜索结果、用户中心、临时预览这类地址，往往由参数组合生成。它们的数量可以无限扩张，内容重复度高，也很难有稳定搜索需求。处理重点通常不是单个页面，而是收敛入口，让蜘蛛不再持续发现新的组合。
处理顺序：先收入口，再谈标记
- 先看入口数量。一个页面如果被站内几百个位置链接指向，无论你加什么标记，蜘蛛都会频繁来。先把不必要的入口收敛掉，效果比加标记更直接。
- 再定保留还是排除。有内容、有需求、有独立价值的保留并补全信息；没有的走排除路线。
- 按需要选择工具。不想让蜘蛛浪费抓取，用 robots.txt 拦抓取；希望蜘蛛能进来但不要进索引，用 noindex。两者管的不是同一段，用错会互相抵消。
- 最后看索引怎么退。已经被收录的页面，标记生效后需要一段时间才会从索引里退出，中间可能仍会展示旧版本，这属于正常过程，不必反复改动。
判断标准可以简化成一句话：这个地址单独拿出来，是否值得成为一条独立的搜索结果。答案是否定的，它就不该是收录目标。
上线前可以过一遍的清单
- 上传目录、附件目录是否可以被直接遍历访问
- 图片是否同时存在独立页和内容页两种形态
- PDF 是否有对应的正文页承担主要版本
- 预览、下载、临时地址是否带参数且被大量链接
- 站内搜索和筛选结果是否对外开放抓取
非正文页面本身不是问题，问题在于它们堆积之后，会让站点在索引里的画像变得含糊。定期清理一遍，比一次大规模整理更省力。