很多站点在改版、上新栏目或者做活动时，会顺手在正式目录下建一批临时页面：新模板的预览页、还没写完的草稿、内部用的统计页、给客户看的演示页。这些页面在浏览器里能正常打开，也很容易被搜索蜘蛛顺着内链、导航、站点地图或者日志里的地址抓走。它们往往缺标题、缺描述、缺正文结构，一旦被索引，用户搜到的是半成品，同时也会分散站点的抓取资源。
半成品页面一般从哪些入口漏出去
- 导航与页脚：测试栏目被临时挂到主导航或页脚，全站页面都带上了这个链接。
- 内链与推荐位：文章正文、侧栏推荐、相关阅读里手动贴过测试地址，事后没有清理。
- 站点地图与 RSS：生成工具按目录扫描，把 test、demo、tmp 这类目录一并写进 sitemap。
- 站内搜索与筛选参数：搜索页会生成带参数的地址，把草稿内容也拼进列表。
- 目录直连与备份文件：服务器上遗留的压缩包、旧版页面、编辑器临时文件可以被直接访问。
自查怎么做
- 先列清单。用站内搜索和外部检索把可疑地址集中起来；再翻一遍最近三个月的抓取日志，看蜘蛛是否访问过 /test、/demo、/tmp、/draft 这类路径。
- 确认状态。能公开访问、返回 200 的页面才是需要处理的；已经返回 404 或 403 的记录一下即可。
- 看有没有入链。查一下站内哪些页面链接到这些地址，尤其是导航、页脚和公共模板文件。
- 查索引情况。确认这些地址是否已被搜索引擎收录，是否出现在搜索结果里。
- 记录影响范围。判断是单个页面外泄，还是模板级、目录级的问题，方便决定处理方式。
处理方式：能删就删，删不掉就挡
临时页面已经上线
优先考虑删除或下线，把地址收敛到正式页面。如果内容还值得保留，就把它整理成正常页面，配上标题、描述和完整结构，再谈是否放出去。不要让它以半成品状态长期停留在索引里。
还没公开的草稿和测试目录
把它移到 Web 根目录之外，或者加访问密码；确实需要放在站点内，可以用 robots.txt 屏蔽目录，并在页面层级加上 noindex。注意这两件事要分开做：robots.txt 挡的是抓取，meta noindex 负责不索引。只做前者的话，页面仍可能因为外链被收录成缺少描述的结果。
顺手把入口堵上
- 站点地图和 RSS 的生成规则里排除测试、草稿、临时目录。
- 模板里的导航、页脚、推荐位不要出现测试地址，改完记得全站回归一遍。
- 站内搜索页和筛选页加 noindex，避免生成大量参数地址。
- 服务器上清理压缩包、旧版本目录和编辑器临时文件，关闭目录列表功能。
抓取资源是有限的。让蜘蛛把时间花在真正的栏目和内容页上，比让它反复爬测试目录更有价值。
把检查放进日常流程
上线前多看一眼有没有残留测试链接，改版时把旧目录一并处理，定期从日志里抽查蜘蛛的访问路径。发现外泄页面后，先判断是删、是挡还是补全内容，再动手。处理完隔一段时间复查日志和收录情况，确认这些地址没有再被反复抓取。
这类问题本身不难处理，麻烦的是拖。半成品页面躺得越久，被外链引用、被镜像搬运、被搜索结果收录的机会就越多，清理成本也就越高。