不少站点在上线之前都會先搭一套測試环境：換個二級域名、绑個临时 IP，或者把老域名繼續保留着做备份。這些环境對内部协作是便利，對搜尋引擎蜘蛛却可能是個陷阱——它們往往和正式站内容几乎一样，一旦被抓取和收錄，同一份内容就多了一個出口。
副本為什么會被蜘蛛發現
蜘蛛找到 URL 的途径比多數人想象的多：外鏈、歷史记錄、被抓過的 Sitemap，甚至頁面上一個忘了删掉的绝對地址。而測試站通常没有做訪問限制，任何知道域名的人都能打開，蜘蛛自然也能。
- 測試环境沿用了正式站的站内連結结构，頁面之間彼此可達；
- 舊域名没有做 301，解析仍然生效；
- IP 直连可以訪問到與正式站相同的頁面；
- 预發布环境生成過 Sitemap，並且被提交或被抓取過。
三類容易被忽略的影子站点
预發布與測試域名
這類环境為了調试方便，常常不设鉴權，内容也和正式站同步更新。它對蜘蛛是完全開放的，如果没有明确的抓取規則，收錄只是時間問题。
舊域名與歷史解析
站点換過域名或改過栏目结构後，如果舊地址仍能返回完整頁面，就相当于把同一份内容又發布了一次。特別是舊域名還带着一批外鏈时，蜘蛛會更频繁地回訪。
IP 直连與回源地址
正式站绑定了域名，但服務器 IP 本身往往也能直接打開站点。CDN 的回源域名如果可被外部訪問，同样會暴露一份完整副本。這两類地址平时不容易被注意到，却经常在日誌里出現蜘蛛的訪問记錄。
一份可以照着做的自查清單
- 列出所有能返回正文的环境地址：主域名、二級域名、舊域名、服務器 IP、回源域名。
- 逐個訪問，確認返回的内容是否與正式站一致。
- 检查這些地址的狀態碼與 robots 規則，看是否存在明确声明。
- 翻抓取日誌或站内搜尋结果，確認副本是否已被抓取或收錄。
- 回到正式站頁面，確認没有指向測試环境的連結或引用地址。
處理办法
先從訪問入口封堵
最省事的方式是让測試环境根本不能被外部訪問：加基础鉴權、設定 IP 白名單，或者干脆放在内網與 VPN 里。訪問不到，後面所有收錄問题都不會發生。
用規則兜底
如果确實需要公網可訪問，比如给客戶演示，至少给它一份獨立的 robots.txt，寫入禁止抓取的規則，並在响應头里声明不索引。需要注意的是，robots.txt 只约束抓取行為，並不等于阻止收錄，所以規則声明往往需要叠加使用才稳妥。
舊域名的正确收尾
換域名後，舊域名應当整体跳轉到新域名的對應頁面，而不是長期保留一份完整副本。若舊域名确定不再使用，也可以停止解析，但在此之前要確認没有大量外鏈仍指向它，避免訪客落到打不開的地址。
已经收錄的副本怎么办
如果副本已经進了索引，先確認抓取規則已经生效，再通過站長平台的移除或更新入口處理。只提交申請却保留可訪問的副本，通常不會有好结果。
把它變成常規動作
建议在几個固定节点上跑一遍上面的清單：開通新环境、切換域名、調整 CDN 配置、大版本改版之後。也可以在發布流程里加一條检查項——任何對外可訪問的地址，都要明确标注它是否允许被抓取。
副本本身不是問题，問题是副本能被蜘蛛訪問，却和正式站長得一模一样。管好入口，比事後清理省力得多。