做蜘蛛池时，有人會给入口頁加一條 robots.txt 規則，想法是「別让搜尋引擎抓入口頁，只抓目标 URL」。這個思路本身就有点拧巴：入口頁和目标 URL 之間靠連結连接，而連結的發現，恰恰依赖搜尋蜘蛛把入口頁抓下来、解析 HTML。下面把這件事拆開说。
robots.txt 拦住的是抓取，不是索引
robots.txt 是给爬虫看的抓取约定，作用是告诉爬虫哪些路径不要抓。它不像 noindex 那样直接表達「不要收錄這個頁面」。所以一條 Disallow 生效後，最直接的结果是：该搜尋引擎的爬虫不来抓這個入口頁。
頁面没被抓，HTML 就没被解析，頁面里的普通連結自然也不會被顺藤摸瓜地發現。目标 URL 也就失去了這條發現路径。注意，這里说的是「這條路径断了」，而不是「绝對發現不了」。
為什么入口頁被禁抓，目标 URL 的發現概率會下降
- 連結發現依赖入口頁被抓取：入口頁是發現层，抓不下来，發現层就断了。
- sitemap 是另一條路，但和入口頁無關：把目标 URL 直接寫進 sitemap 提交，走的是提交通道，不依赖入口頁被抓。
- 外鏈同样能带来發現：如果目标 URL 在別處有正常外鏈，蜘蛛仍可能從那里發現它。
- 但這两條路都不受你控制：你無法用入口頁去推動它們，稳定性也不由你决定。
几個容易踩坑的细节
每個搜尋引擎讀的是自己那份 robots.txt
有的站点只對某個 UA 放開，或者只在某個站長平台里配置，就誤以為全局生效。實际是各引擎各讀各的，需要逐一對齐来看。
robots.txt 是约定，不是强制
绝大多數主流爬虫會遵守，但這不等于「一定不来」。反過来，遵守了就等于不抓，入口頁上的連結也就不會被解析。
別和 noindex 混着用
noindex 是「抓了但別收錄」，和「不抓」是两回事。入口頁如果只是不想被收錄，用 noindex 更合适；如果连抓都不给抓，就別指望它来传递連結。
想保留 robots.txt，又想目标 URL 被看到，可以這样做
- 放開入口頁抓取，用 Crawl-delay 或抓取频率限制来控制压力，而不是直接 Disallow。
- 對無價值路径（後台、站内搜尋结果頁、參數组合頁）做 Disallow，入口頁本身留在允许范围内。
- 把目标 URL 放進 sitemap，用提交通道做兜底。
- 给目标 URL 建设正常的外鏈，减少對入口頁的單一依赖。
- 如果确實需要隔离，把入口頁放到單獨的子域或目錄，單獨配置規則，別一刀切。
怎么驗證有没有生效
最直接的是看服務器日誌：入口頁有没有该引擎的抓取记錄，目标 URL 有没有出現。百度搜尋资源平台和 Google Search Console 都提供 robots.txt 測試工具，可以模拟某條 URL 是否被允许抓取。測試时別只盯着「是否被屏蔽」，還要看屏蔽之後，入口頁上的連結還能不能通過其他路径被發現。
一句提醒：robots.txt 是抓取開關，不是收錄開關；用错了方向，往往是把發現路径一起關掉。
最後要说的是，入口頁被允许抓取，也不代表目标 URL 一定被收錄。抓取、發現、索引是三件事，能做的只是把發現路径打通、把入口頁质量做扎實，剩下的交给搜尋引擎自己判断。