改版、做活動、開發新栏目的时候，站点上经常會多出一批临时頁面。它們不是正式内容，但地址是真實可訪問的，如果一直放在那里，就會被爬虫顺着連結或者站点地图摸進去。等發現时，這些頁面已经出現在结果列表里了。
哪些頁面最容易漏出去
先梳理一下常见的几類：
- 測試域名：test、beta、dev、staging 之類的二級域名或獨立域名，權限往往没有做限制。
- CMS 预览連結：带 preview、token 之類參數的地址，發布前用来给同事看效果，發布後忘了關。
- 草稿狀態的内容：部分系統里草稿也能通過固定 URL 打開，只是不在列表頁顯示。
- 占位頁與空模板：栏目刚建好還没填内容，目錄頁已经能訪問。
- 後台與接口頁：登入頁、上传目錄、調试接口，正常情况不该被外部爬到。
一次完整的自查流程
- 先在搜尋引擎用 site:你的域名 看一遍已進入索引的地址，重点看有没有測試域名、带參數的预览地址、明顯不该出現的路径。
- 翻服務器訪問日誌，筛出返回 200 但路径異常的记錄，尤其是爬虫的抓取记錄。
- 检查 robots.txt：測試目錄、後台路径是否有 Disallow，同时確認没有誤屏蔽正式内容。
- 检查頁面响應头：對不该公開但需要保留的頁面，加 X-Robots-Tag: noindex。
- 检查 sitemap 是否把草稿頁、測試頁也提交了進去。
- 检查站内連結：編輯器里複製粘贴时，容易把測試环境的地址带到正式頁面里。
處理原則：能删就删，删不掉就限制
直接刪除或返回 404
临时頁面用完就该刪除。如果文件還在但确實不再使用，让它返回 404 或 410，比留着一個 200 的空白頁更好，至少不會繼續被当成有效内容。
保留但要限制訪問
- 加 noindex 响應头，而不是只靠 robots.txt；
- 後台、预览類地址加登入驗證或 IP 白名單；
- 測試环境整個域名加 Basic Auth，比逐個頁面處理更省事。
需要提醒的是，robots.txt 只是抓取建议，不是訪問控制手段。真正不想被看到的頁面，應该在服務器层面拦住。
把检查放進日常流程
與其定期大掃除，不如在流程上加几個卡点：新栏目上线前確認占位頁狀態；活動結束後確認落地頁是保留還是下线；每次改版後跑一遍上面的自查；把预览連結的有效期设短一点。
半成品頁面本身不會带来流量，却會占用被抓取的机會，也可能让訪客看到一個還没做完的站点。