很多人把 robots.txt 当成「收錄開關」，以為在入口頁上寫一條 Disallow，就能让頁面低調執行、連結照常生效。實际情况往往相反：屏蔽入口頁，最先被切断的恰恰是你最想要的那條 URL 發現路径。
先说结论
robots.txt 里的 Disallow 表示「不要抓取這個地址」，而不是「不要收錄這個地址」。搜尋蜘蛛如果在抓取前讀到入口頁被禁止，它通常會直接跳過這個 URL，不讀取頁面 HTML，自然也就看不到頁面里指向目标 URL 的連結。
換句话说，入口頁被屏蔽後，依赖它来分發連結的那套逻辑，在蜘蛛這一侧基本等于不存在。
三種常见结果
- 入口頁從未被抓取過：連結發現為零。目标 URL 只能靠 sitemap、外鏈、站内其他路径被發現，成功率明顯下降。
- 入口頁此前已被抓取並存在索引：短時間内，蜘蛛可能仍按舊缓存繼續跟進部分連結，但這個窗口會逐渐收窄，缓存過期後同样归于沉寂。
- 目标 URL 本来就有其他發現来源：這條路被堵住影响不大，但也不该把它算作「入口頁仍然生效」的證據。
robots.txt 管的是抓取行為，不是内容是否出現在结果里。想控制收錄與否，應该用頁面級的 noindex，而不是靠屏蔽抓取。
几個容易混淆的点
Disallow 與 noindex 不能互相替代
更麻烦的组合是：頁面被 Disallow，同时又寫着 noindex。蜘蛛讀不到頁面，就看不到那條 noindex，结果是頁面既没被重新抓取，也没被及时清理。
屏蔽入口頁不等于「隐形」
被屏蔽的 URL 如果之前已经被收錄，或者被別處引用，它仍可能以某種形式出現在结果中。屏蔽抓取只會让情况變得更难控制。
通配符容易誤伤
像 Disallow: /*?ref= 這類規則，本意是挡掉參數頁，却可能连带着把入口頁一起挡掉，而且從表面上看不出来。
排查步骤
- 打開站点根目錄的 robots.txt，逐條比對入口頁的實际路径，確認是否被規則命中。
- 用 robots.txt 測試工具或爬虫模拟工具，直接請求入口頁，看返回的是「允许抓取」還是「被屏蔽」。
- 查看服務器訪問日誌，統計入口頁 URL 近期被搜尋蜘蛛請求的次數，若長期為零，基本可以確認被拦在外面。
- 检查是否有 CDN、WAF 或反向代理层額外注入或改寫了 robots.txt。
- 確認修正後，重新观察日誌中的抓取频次變化，而不是立刻反复提交 URL。
配置上的建议
- 入口頁保持可抓取，让連結發現鏈路通畅。
- robots.txt 只用来挡無意义的參數頁、後台路径、搜尋结果頁等，不要拿它做内容管理。
- 如果某個目标 URL 确實不希望出現在结果里，让它保持可抓取、返回 noindex，而不是 Disallow。
- 規則改動後留出观察期，用日誌判断效果，避免频繁反复調整。
回到最初的問题：入口頁被 robots.txt 屏蔽後，搜尋蜘蛛還能不能發現目标 URL？答案是——通過這條路基本不能。想驗證很简單，先看 robots.txt，再看日誌，两處一對就能定位問题出在配置還是別處。