很多团队在正式站之外，還會保留測試站、预發布环境、舊域名或直接用 IP 訪問的地址。這些环境通常没有完整的内容审核，也没有稳定的導航结构。如果缺少訪問控制，蜘蛛可能顺着一條临时連結、一次 DNS 查询或一份證书记錄找到它們，把尚未上线的頁面带進抓取队列。

蜘蛛為什么會找到測試环境

常见路径有几類：

• 生产頁面里的临时連結：編輯在正式文章中插入測試域名的图片、附件或预览地址，連結被蜘蛛跟随。
• 备用域名解析到同一站点：舊域名、test 子域、cdn 子域等都能返回 200，内容與正式站相同。
• IP 直连：服務器没有做 Host 校驗，用 IP 加路径也能打開頁面。
• DNS 與證书记錄：子域名解析记錄、證书透明度日誌可能暴露不打算公開的地址。
• Sitemap 或頁面源碼誤带測試地址：生成工具或模板里残留舊环境配置。

這些情况不一定马上造成問题，但會让抓取预算分散，也可能让重复内容、空頁面和未完成頁面進入索引。

先做訪問控制，再谈 robots

有些站点只在測試环境的 robots.txt 里寫 Disallow: /，但頁面本身仍然可以被訪問。robots.txt 主要限制抓取，不阻止 URL 被引用，也不等于訪問控制。更稳妥的顺序是：

1. 给測試环境加 HTTP 認證、IP 白名單或 VPN 訪問，让公開請求拿不到頁面内容。
2. 如果环境必须临时公開，再考虑返回 noindex 或 401/403，而不是只依赖 robots.txt。
3. 正式站上清理指向測試域名的連結、图片和附件地址。
4. 舊域名和备用域名统一做 301 跳轉到正式域名，避免两套内容同时返回 200。
5. 检查 Sitemap、RSS、API 輸出和頁面模板中是否残留測試域名。

訪問控制是第一道门，robots.txt 更像一張告示。告示不能代替门鎖。

几個容易忽略的细节

1. IP 直连和 Host 头

在服務器配置里限制預設站点，或對未知 Host 返回 444/403。否則同一個 IP 上的所有域名都能看到同一套内容。

2. 舊域名不是只解析就行

如果舊域名仍然可以獨立打開頁面，蜘蛛可能繼續抓取舊地址。把舊域名全站 301 到新域名對應路径，比只保留解析更清晰。

3. 预览連結和分享連結

CMS 的预览地址、临时分享連結往往带參數且可公開訪問。检查這些連結是否會被寫入正式頁面，或者是否設定了有效期。

4. 日誌里的異常抓取

定期看服務器日誌，確認蜘蛛是否在訪問測試子域、舊域名或 IP 地址。發現後先處理訪問控制，再看是否需要提交移除請求。

一份简短的自查清單

• 測試站、预發布站是否都需要登入或白名單才能訪問？
• 舊域名、备用域名是否全站 301 到正式域名？
• 用 IP 直接訪問是否能打開正式站内容？
• 正式頁面、Sitemap、RSS 中是否出現測試域名？
• CMS 预览連結是否公開可訪問，是否有有效期？
• 日誌里是否出現測試子域、舊域名或 IP 地址的抓取记錄？

這些動作不需要一次做完，但每次上线、改版或新增子域时都值得過一遍。把未上线的环境挡在抓取范围之外，正式站的抓取關系會更干净，後續排查問题也少一些干扰。