很多站点的抓取問题，並不出在正式站上，而是出在那些“還没准备好”的頁面上：測試域名、预览連結、临时上传目錄、改版时留下的舊站。它們通常没有任何内鏈指向，但只要有一個人把連結發到公開的地方，或者服務器根本没做隔离，蜘蛛迟早會顺着找到。
常见的泄露入口
- 測試域名或測試站：例如 test.example.com、dev 前缀目錄，内容和正式站高度相似。
- 预览連結：CMS 生成的 ?preview=xxx 之類地址，或者短时效的分享連結，被複製進聊天工具、文档、工單里。
- 临时目錄與上传残留：/tmp、按日期堆积的上传目錄、編輯器導出的静態文件，没有任何訪問保護。
- 备份與資料文件：压缩包、SQL 導出、日誌文件直接躺在網站根目錄下。
- 改版後的舊目錄：新站上线了，舊目錄還留在服務器上没删，也没做跳轉。
被抓走之後會有什么麻烦
半成品頁面本身可能没什么價值，但副作用不小：
- 和正式頁内容重复，让蜘蛛难以判断该保留哪個版本；
- 舊價格、舊活動、舊联系方式被抓取後，可能在结果里長期存在，訪客看到的是過期信息；
- 抓取预算被這些頁面消耗掉，核心栏目的更新反而排到後面；
- 如果预览頁或临时目錄里带有後台入口、調试信息，還可能暴露不该公開的内容。
判断标准很简單：這個地址如果被陌生人看到，是否會造成誤解或風險？答案是“會”，就不该让它處在可被公開訪問的狀態。
隔离的几種做法
訪問层先挡住
測試环境優先用内網訪問、HTTP 基本認證或 IP 白名單，而不是指望 robots.txt。robots.txt 约束的是遵守規則的抓取，挡不住別人手動打開，也挡不住已经抓走的快照。
再补一层索引指令
确實需要公開訪問的预览环境，比如给客戶看的版本，可以在响應头加 X-Robots-Tag: noindex，比只寫在頁面 meta 里更稳妥；同时確認它没有出現在站点地图、内鏈和站内搜尋里。
预览連結做成一次性的
带 token 的预览地址最好設定有效期，用完整就失效；不要用可枚举的连續 ID，也不要把大量预览連結堆在同一個頁面上。
上线时同步清理
舊目錄、舊子域、备份文件在新站上线当天就该處理掉。需要保留的做 301，不需要的直接刪除或返回 410，別让它們長期挂着。
上线前後的自查清單
- 站点地图和主要内鏈里，有没有混進測試域名或预览地址；
- 服務器根目錄下是否還存在压缩包、SQL、日誌之類的文件；
- 舊站目錄是否已刪除或做了跳轉；
- CDN 缓存里是否還留着舊版本頁面；
- 在服務器日誌里搜一下測試域名、preview、tmp 等關鍵詞，看有没有被抓取的记錄。
已经被抓了怎么處理
先確認現状，看看這個地址是否真的出現在结果里。仍可訪問的頁面，先让它返回 404 或 410，或者在响應头加 noindex；确實需要保留内容的，做 301 指向正式頁。如果頁面里含敏感信息，處理優先級要提到最前面。做完這些，再观察一段時間的抓取日誌，確認蜘蛛不再频繁回訪。
這類問题大多不是技術难题，而是流程問题：發布流程里多問一句“這個地址能不能被公開訪問”，就能省掉後面很多清理工作。