做站点运营时，正式站和測試站往往共用同一台服務器、同一套代碼。上线前预览一下、备份站顺手放到公網、临时目錄忘了删，都可能让蜘蛛先一步爬到還没定稿的頁面。這些地址一旦被抓取，轻則浪費抓取预算，重則出現内容重复、舊價格或舊政策被展示的問题。
蜘蛛是怎么找到測試站的
蜘蛛並不神秘，它主要顺着連結走。測試站被發現的常见路径有：
- 正式站某個頁面上的測試連結没删干净
- 预览地址被發在公開可訪問的頁面或社区
- 同一 IP 下的其他域名被解析，蜘蛛顺着主机關系摸過去
- 站点地图或歷史外鏈里残留了舊域名
- 服務器目錄列表未關閉，路径可以直接被枚举
上线前可以做的自查清單
- 列出所有解析到同一台服務器的域名，確認哪些需要對外。
- 检查測試域名下是否存在 robots.txt，並確認規則是否覆盖整站。
- 翻一翻正式站的訪問日誌，看 Host 字段里有没有非正式域名被請求。
- 检查 sitemap 中是否混入了測試地址或内網地址。
- 確認预览連結是否有有效期，過期後是否真的失效。
- 检查备份文件、压缩包、日誌目錄是否能被公開訪問。
几種可用的隔离做法
網絡层隔离
最省心的方式是让測試环境根本不具备公網入口，只在内網或通過 VPN 訪問。前端联調、客戶预览都可以走這條路，從源头上就没有被抓取的可能。
認證與临时口令
如果必须公網訪問，给整站或整個目錄加一层訪問認證或一次性口令。多數搜尋引擎不會带凭據去抓取頁面，内容自然不容易被索引。注意口令不要寫在公開頁面的連結里，也不要使用可以猜到的固定字符。
域名與目錄层面
把測試内容放在單獨的域名或子域名下，避免使用正式域名下的临时目錄。同时確認正式站的任何頁面都不會出現指向測試域的連結，包括返回到主站的連結和图片地址。
robots.txt 只對遵守規則的爬虫有效，真正的隔离應该靠訪問控制，而不是靠一句声明。
如果已经被抓到了怎么办
先判断嚴重程度。如果只是少量頁面被抓、没有被索引，通常不需要過度反應，把測試环境關閉或加上訪問認證即可。如果已经出現在搜尋结果里，可以按下面的顺序處理：
- 把測試地址指向對應的正式頁面，让權重回到正式内容上
- 找不到對應正式頁的地址，直接返回 404
- 给測試域加上訪問認證並保留一段時間，避免被反复抓取
- 回头检查正式站頁面，找出仍然指向測試域名的連結並修掉
把它變成日常习惯
與其事後补救，不如在發布流程里加一步检查：發布前掃一遍頁面里的外鏈、图片地址和跳轉目标，確認没有指向内網、測試域或临时目錄。服務器侧定期巡检站点根目錄、备份目錄和日誌目錄的權限，發現不该出現在公網的路径就及时處理。測試环境本身不是問题，長期敞開且無人留意才是。