开发环境、测试环境、预览环境被搜索引擎收录，通常不是被针对，而是某个入口漏了出去。这类 URL 一旦进入索引，既会占用抓取资源，也可能让用户搜到错误版本的页面。处理之前，先要弄清楚它是怎么被发现的。
一、不该被收录的环境，通常从哪几个口子漏出去
- 没有环境区分配置。测试域名直接沿用了生产环境的 robots.txt 和页面模板，既没禁抓，也没加 noindex。
- 内部链接用了绝对地址。复制生产代码时忘了改域名，测试站点的页面互相链接，甚至跳到生产站，蜘蛛顺着走一遍。
- sitemap 混入测试 URL。构建脚本生成多份站点地图，或者测试环境也开放了 /sitemap.xml。
- 公开分享。需求文档、群聊记录、工单、演示链接里出现过的地址，都可能被别人贴到能被抓取的地方。
- 域名泛解析。任意子域名都能解析并返回 200，被扫到就等于暴露。
- 监控与第三方服务。可用性监测、预览部署工具生成的临时域名，不少默认没有访问限制。
这些口子单独一个都不致命，但同时存在时，URL 被发现只是时间问题。
二、几道闸门，强度和适用场景不同
常见的处理方式有四种，效果差别很大，不要混用。
- 访问控制。Basic Auth、IP 白名单、VPN 内网访问。页面根本打不开，搜索引擎自然也拿不到内容，是最干净的方案。
- robots.txt 禁抓。阻止蜘蛛抓取内容，但如果 URL 通过外链被发现，仍可能以只保留 URL 的形式出现在索引里，或者长期停留在已发现状态。
- noindex。需要页面能被抓取到才会生效。如果 robots.txt 同时禁止了抓取，noindex 就传不出去，两者互相打架。
- 切断入口。去掉所有指向该环境的链接、站点地图条目和公开分享记录。这是配合手段，不是唯一手段。
比较实用的组合是：要么彻底不可访问，要么允许抓取但明确 noindex。别一边禁抓一边指望 noindex 生效。
三、已经进了索引，怎么往回撤
第一步是先改状态，再谈移除。顺序反了，往往白忙一场。
- 先让页面返回 401、403 或 404，或者加上 noindex，确保索引里的地址下次被抓取时能收到不要收录的信号。
- 如果页面短期还必须能访问，比如正在对外演示，可以用临时移除工具处理，但要知道它只是临时手段，通常几个月后失效，长期还是得靠上面的技术手段。
- 检查是否存在镜像：同一套内容可能挂在多个域名或子域名下，只处理一个，其他的还会冒出来。
- 留意 canonical。如果测试页面的规范地址指向了生产页，搜索引擎有可能不索引测试地址、把信号合并到生产页，但这属于顺带结果，不是可以依赖的常规做法。
处理完之后，索引里的记录不会立刻消失，需要等下一次抓取和重新判断。期间不要反复改动配置，否则容易让状态更乱。
四、避免下次再发生
- 环境配置分离：测试环境默认禁抓加访问限制，生产配置只用于生产。
- 构建和部署时加校验：基础地址、站点地图域名、规范地址指向，都应在发布前检查一遍。
- 新环境上线先加访问控制，再考虑内容。
- 内部文档里统一说明哪些地址可以外发，哪些只能内网打开。
测试环境真正的问题不是被收录，而是被外部访问到了。收录只是这个问题的一个可见后果。
把入口堵住、状态改对，剩下的交给时间。收录层面的清理，本质上是把不该公开的东西重新变回不该公开的样子。