很多团队在正式站之外，还会保留测试站、预发布环境、旧域名或直接用 IP 访问的地址。这些环境通常没有完整的内容审核，也没有稳定的导航结构。如果缺少访问控制，蜘蛛可能顺着一条临时链接、一次 DNS 查询或一份证书记录找到它们，把尚未上线的页面带进抓取队列。

蜘蛛为什么会找到测试环境

常见路径有几类：

• 生产页面里的临时链接：编辑在正式文章中插入测试域名的图片、附件或预览地址，链接被蜘蛛跟随。
• 备用域名解析到同一站点：旧域名、test 子域、cdn 子域等都能返回 200，内容与正式站相同。
• IP 直连：服务器没有做 Host 校验，用 IP 加路径也能打开页面。
• DNS 与证书记录：子域名解析记录、证书透明度日志可能暴露不打算公开的地址。
• Sitemap 或页面源码误带测试地址：生成工具或模板里残留旧环境配置。

这些情况不一定马上造成问题，但会让抓取预算分散，也可能让重复内容、空页面和未完成页面进入索引。

先做访问控制，再谈 robots

有些站点只在测试环境的 robots.txt 里写 Disallow: /，但页面本身仍然可以被访问。robots.txt 主要限制抓取，不阻止 URL 被引用，也不等于访问控制。更稳妥的顺序是：

1. 给测试环境加 HTTP 认证、IP 白名单或 VPN 访问，让公开请求拿不到页面内容。
2. 如果环境必须临时公开，再考虑返回 noindex 或 401/403，而不是只依赖 robots.txt。
3. 正式站上清理指向测试域名的链接、图片和附件地址。
4. 旧域名和备用域名统一做 301 跳转到正式域名，避免两套内容同时返回 200。
5. 检查 Sitemap、RSS、API 输出和页面模板中是否残留测试域名。

访问控制是第一道门，robots.txt 更像一张告示。告示不能代替门锁。

几个容易忽略的细节

1. IP 直连和 Host 头

在服务器配置里限制默认站点，或对未知 Host 返回 444/403。否则同一个 IP 上的所有域名都能看到同一套内容。

2. 旧域名不是只解析就行

如果旧域名仍然可以独立打开页面，蜘蛛可能继续抓取旧地址。把旧域名全站 301 到新域名对应路径，比只保留解析更清晰。

3. 预览链接和分享链接

CMS 的预览地址、临时分享链接往往带参数且可公开访问。检查这些链接是否会被写入正式页面，或者是否设置了有效期。

4. 日志里的异常抓取

定期看服务器日志，确认蜘蛛是否在访问测试子域、旧域名或 IP 地址。发现后先处理访问控制，再看是否需要提交移除请求。

一份简短的自查清单

• 测试站、预发布站是否都需要登录或白名单才能访问？
• 旧域名、备用域名是否全站 301 到正式域名？
• 用 IP 直接访问是否能打开正式站内容？
• 正式页面、Sitemap、RSS 中是否出现测试域名？
• CMS 预览链接是否公开可访问，是否有有效期？
• 日志里是否出现测试子域、旧域名或 IP 地址的抓取记录？

这些动作不需要一次做完，但每次上线、改版或新增子域时都值得过一遍。把未上线的环境挡在抓取范围之外，正式站的抓取关系会更干净，后续排查问题也少一些干扰。