很多人把 robots.txt 当成「收录开关」，以为在入口页上写一条 Disallow，就能让页面低调运行、链接照常生效。实际情况往往相反：屏蔽入口页，最先被切断的恰恰是你最想要的那条 URL 发现路径。
先说结论
robots.txt 里的 Disallow 表示「不要抓取这个地址」，而不是「不要收录这个地址」。搜索蜘蛛如果在抓取前读到入口页被禁止，它通常会直接跳过这个 URL，不读取页面 HTML，自然也就看不到页面里指向目标 URL 的链接。
换句话说，入口页被屏蔽后，依赖它来分发链接的那套逻辑，在蜘蛛这一侧基本等于不存在。
三种常见结果
- 入口页从未被抓取过：链接发现为零。目标 URL 只能靠 sitemap、外链、站内其他路径被发现，成功率明显下降。
- 入口页此前已被抓取并存在索引：短时间内，蜘蛛可能仍按旧缓存继续跟进部分链接，但这个窗口会逐渐收窄，缓存过期后同样归于沉寂。
- 目标 URL 本来就有其他发现来源：这条路被堵住影响不大，但也不该把它算作「入口页仍然生效」的证据。
robots.txt 管的是抓取行为，不是内容是否出现在结果里。想控制收录与否，应该用页面级的 noindex，而不是靠屏蔽抓取。
几个容易混淆的点
Disallow 与 noindex 不能互相替代
更麻烦的组合是：页面被 Disallow，同时又写着 noindex。蜘蛛读不到页面，就看不到那条 noindex，结果是页面既没被重新抓取，也没被及时清理。
屏蔽入口页不等于「隐形」
被屏蔽的 URL 如果之前已经被收录，或者被别处引用，它仍可能以某种形式出现在结果中。屏蔽抓取只会让情况变得更难控制。
通配符容易误伤
像 Disallow: /*?ref= 这类规则，本意是挡掉参数页，却可能连带着把入口页一起挡掉，而且从表面上看不出来。
排查步骤
- 打开站点根目录的 robots.txt，逐条比对入口页的实际路径，确认是否被规则命中。
- 用 robots.txt 测试工具或爬虫模拟工具，直接请求入口页，看返回的是「允许抓取」还是「被屏蔽」。
- 查看服务器访问日志，统计入口页 URL 近期被搜索蜘蛛请求的次数，若长期为零，基本可以确认被拦在外面。
- 检查是否有 CDN、WAF 或反向代理层额外注入或改写了 robots.txt。
- 确认修正后，重新观察日志中的抓取频次变化，而不是立刻反复提交 URL。
配置上的建议
- 入口页保持可抓取，让链接发现链路通畅。
- robots.txt 只用来挡无意义的参数页、后台路径、搜索结果页等，不要拿它做内容管理。
- 如果某个目标 URL 确实不希望出现在结果里，让它保持可抓取、返回 noindex，而不是 Disallow。
- 规则改动后留出观察期，用日志判断效果，避免频繁反复调整。
回到最初的问题：入口页被 robots.txt 屏蔽后，搜索蜘蛛还能不能发现目标 URL？答案是——通过这条路基本不能。想验证很简单，先看 robots.txt，再看日志，两处一对就能定位问题出在配置还是别处。