测试域名被搜索引擎收录，通常不是某一个动作出错，而是几道防护同时缺位。站点上线前用 pre、staging、dev 或者 IP 直连访问，如果没有登录验证，也不在 robots.txt 里做限制，蜘蛛顺着某条外链或证书信息就能找到并抓取。等到发现时，索引里已经可能躺着一批带参数、带端口甚至带测试数据的地址。处理这件事的重点不是急着提交移除，而是先把入口和出口都核对一遍。
一、先确认被收录的是哪个地址
用 site: 查询确认范围，注意区分几种情况：
- 子域名形式，例如 staging.example.com；
- 主域名下的路径，例如 example.com/test/；
- IP 直连或带端口的形式；
- 主域名本身被解析到测试服务器。
同时在搜索控制台里确认这些地址的归属。如果测试域名没有单独建属性，你不会收到任何抓取和索引相关的通知，只能靠 site 查询和日志发现。这一步的意义在于：后面所有处理动作都要落到具体域名和路径上，范围没确认清楚，很容易出现关了一个域名、另一个域名还在被抓的情况。
二、访问控制是最前面的一道闸门
如果测试站点本来就不打算被任何人访问，最省事的做法是加访问控制而不是只依赖 robots.txt。可选方式包括 HTTP 基本认证、IP 白名单、内网访问、VPN。蜘蛛遇到需要认证的页面通常拿不到内容，自然不会形成正常的索引条目。
要注意的是，访问控制不能只加在首页。曾经出现过首页需要登录、但静态资源目录或上传目录可以直接访问的情况，结果是一批文件被收录。核对时沿着常见的几个入口看一遍：静态资源目录、上传目录、备份文件、接口返回的 JSON。
三、robots.txt 与 noindex 要分清楚用途
两者经常被混用，但作用不一样：
- robots.txt 的 Disallow 是阻止抓取。页面不再被抓，但已经索引的条目不会因为这条规则自动消失；如果外部有链接和描述，它甚至可能继续以“无摘要”的形式留在索引里。
- meta robots 的 noindex 是要求不建立索引，但前提是蜘蛛能抓到这个页面、读到这段标签。如果页面同时被 robots.txt 屏蔽，蜘蛛读不到 noindex，效果会打折。
所以顺序上通常是：先放开抓取、确保页面能被读到，再让 noindex 生效，最后才考虑屏蔽抓取。对于整个测试域名都不想被索引的情况，可以让页面可被抓取并统一返回 noindex，或者更彻底地让域名不可公开访问。
四、已经收录的地址怎么逐步清理
- 先修正源头：给测试地址加 noindex 或访问控制，避免一边移除一边继续被抓。
- 确认这些页面返回的状态码。如果测试环境已经下线，让地址返回 404 或 410 比返回 200 的空白页更清晰；如果希望把权重导回正式域名，可以按具体页面做对应跳转，而不是全站跳首页。
- 使用搜索控制台里的移除工具做临时移除。这类移除有有效期，只能救急，不能替代 noindex 和状态码处理。
- 检查 sitemap 和内链，把混进去的测试域名地址清掉。sitemap 里提交测试地址，等于主动告诉搜索引擎这里有内容。
- 等待复查。移除请求生效后，索引里的条目会分批减少，这个周期不固定，不必反复提交。
五、别忽略子域名是怎么被发现的
不少测试域名并没有对外宣传，却仍然被发现，常见来源有几类：
- 证书透明日志。为测试域名签发的证书会公开记录子域名，这是很常见的发现渠道。
- DNS 记录。泛解析、测试用的 CNAME 记录都可能暴露命名规律。
- 外链和分享。开发、测试人员把地址发到论坛、工单、代码仓库里。
- 主站内链或 sitemap 里误写了测试地址。
如果测试域名确实需要签证书或保留解析，那么 noindex 和访问控制就要同时到位，不能只靠“没人知道这个地址”。
六、日常防护与复查习惯
把这几件事固定下来，比事后处理更省事：测试环境默认加访问控制；站点模板在测试环境输出 noindex；上线检查清单里包含一次 site 查询；发布前确认 sitemap 和内链里没有测试地址。索引状态的变化本身有延迟，处理完不需要每天盯着看，隔一段时间复查一次即可。
需要提醒的是，任何清理动作都只是改善条件，不能保证某个时间里索引一定消失或一定收录。抓取、索引、展示是三个不同的环节，把每一环的状态分开看，才不容易误判。