測試域名被搜尋引擎收錄，通常不是某一個動作出错，而是几道防護同时缺位。站点上线前用 pre、staging、dev 或者 IP 直连訪問，如果没有登入驗證，也不在 robots.txt 里做限制，蜘蛛顺着某條外鏈或證书信息就能找到並抓取。等到發現时，索引里已经可能躺着一批带參數、带端口甚至带測試資料的地址。處理這件事的重点不是急着提交移除，而是先把入口和出口都核對一遍。
一、先確認被收錄的是哪個地址
用 site: 查询確認范围，注意区分几種情况：
- 子域名形式，例如 staging.example.com；
- 主域名下的路径，例如 example.com/test/；
- IP 直连或带端口的形式；
- 主域名本身被解析到測試服務器。
同时在搜尋控制台里確認這些地址的归属。如果測試域名没有單獨建属性，你不會收到任何抓取和索引相關的通知，只能靠 site 查询和日誌發現。這一步的意义在于：後面所有處理動作都要落到具体域名和路径上，范围没確認清楚，很容易出現關了一個域名、另一個域名還在被抓的情况。
二、訪問控制是最前面的一道闸门
如果測試站点本来就不打算被任何人訪問，最省事的做法是加訪問控制而不是只依赖 robots.txt。可選方式包括 HTTP 基本認證、IP 白名單、内網訪問、VPN。蜘蛛遇到需要認證的頁面通常拿不到内容，自然不會形成正常的索引條目。
要注意的是，訪問控制不能只加在首頁。曾经出現過首頁需要登入、但静態资源目錄或上传目錄可以直接訪問的情况，结果是一批文件被收錄。核對时沿着常见的几個入口看一遍：静態资源目錄、上传目錄、备份文件、接口返回的 JSON。
三、robots.txt 與 noindex 要分清楚用途
两者经常被混用，但作用不一样：
- robots.txt 的 Disallow 是阻止抓取。頁面不再被抓，但已经索引的條目不會因為這條規則自動消失；如果外部有連結和描述，它甚至可能繼續以“無摘要”的形式留在索引里。
- meta robots 的 noindex 是要求不建立索引，但前提是蜘蛛能抓到這個頁面、讀到這段标簽。如果頁面同时被 robots.txt 屏蔽，蜘蛛讀不到 noindex，效果會打折。
所以顺序上通常是：先放開抓取、确保頁面能被讀到，再让 noindex 生效，最後才考虑屏蔽抓取。對于整個測試域名都不想被索引的情况，可以让頁面可被抓取並统一返回 noindex，或者更彻底地让域名不可公開訪問。
四、已经收錄的地址怎么逐步清理
- 先修正源头：给測試地址加 noindex 或訪問控制，避免一邊移除一邊繼續被抓。
- 確認這些頁面返回的狀態碼。如果測試环境已经下线，让地址返回 404 或 410 比返回 200 的空白頁更清晰；如果希望把權重導回正式域名，可以按具体頁面做對應跳轉，而不是全站跳首頁。
- 使用搜尋控制台里的移除工具做临时移除。這類移除有有效期，只能救急，不能替代 noindex 和狀態碼處理。
- 检查 sitemap 和内鏈，把混進去的測試域名地址清掉。sitemap 里提交測試地址，等于主動告诉搜尋引擎這里有内容。
- 等待复查。移除請求生效後，索引里的條目會分批减少，這個周期不固定，不必反复提交。
五、別忽略子域名是怎么被發現的
不少測試域名並没有對外宣传，却仍然被發現，常见来源有几類：
- 證书透明日誌。為測試域名簽發的證书會公開记錄子域名，這是很常见的發現渠道。
- DNS 记錄。泛解析、測試用的 CNAME 记錄都可能暴露命名規律。
- 外鏈和分享。開發、測試人員把地址發到论坛、工單、代碼仓库里。
- 主站内鏈或 sitemap 里誤寫了測試地址。
如果測試域名确實需要簽證书或保留解析，那么 noindex 和訪問控制就要同时到位，不能只靠“没人知道這個地址”。
六、日常防護與复查习惯
把這几件事固定下来，比事後處理更省事：測試环境預設加訪問控制；站点模板在測試环境輸出 noindex；上线检查清單里包含一次 site 查询；發布前確認 sitemap 和内鏈里没有測試地址。索引狀態的變化本身有延迟，處理完不需要每天盯着看，隔一段時間复查一次即可。
需要提醒的是，任何清理動作都只是改善條件，不能保證某個時間里索引一定消失或一定收錄。抓取、索引、展示是三個不同的环节，把每一环的狀態分開看，才不容易誤判。