先说结论：入口页被 robots.txt 的 Disallow 挡住之后，搜索蜘蛛一般不会去抓这个页面本身，页面里写着的目标链接也就失去了被读到的机会。但链接仍然可能从别的渠道被发现，只是那些渠道和这个入口页没有关系。分清这一点，才知道问题卡在哪一步。
Disallow 到底拦住了什么
robots.txt 里的 Disallow 拦的是抓取动作，不是索引结果。一个页面如果以前被抓过、又有外部链接指向它，仍有可能出现在搜索结果里，只是标题和摘要可能来自外部锚文本。反过来，一个从来没被抓过的 URL，被 Disallow 之后基本也等不到抓取机会。
关键逻辑是：爬虫必须先把页面抓下来，才能解析里面的链接。Disallow 恰好切断了抓下来这一步，所以正文里的链接、页脚里的链接，都不会因为这一次访问而被读到。
入口页被禁止抓取时，里面的链接还能被发现吗
- 如果入口页此前已被抓取、链接已经进入待抓队列，这些 URL 仍可能被后续抓取，但新加进去的链接不会再被读到。
- 如果入口页从未被抓过，页面内的链接基本不会被发现，除非同一个 URL 还出现在别的地方。
- 目标 URL 若同时出现在 sitemap、其他可抓取的页面或外部链接里，仍有机会被发现，但那是那些渠道的功劳，不能算在这个入口页头上。
- robots.txt 的规则按 User-agent 和路径匹配，写错一处（比如路径多了个斜杠、通配符用反了），就可能让本该被挡的页面重新可抓，或者反过来把正常页面挡掉。
日志里通常能看到什么
如果确实是入口页被 Disallow，日志里常见的情况是：入口页自身的抓取记录几乎为零，而此前已经被抓过的目标 URL 仍有零星抓取。搜索蜘蛛读取 robots.txt 的频率不低，但规则改动后一般不会立刻生效，需要留一点观察时间，不能改完马上看日志就下结论。
还有一种容易误判的情况：入口页返回了 403 或 429，被防火墙或限流拦住，表现和 Disallow 很像。那属于服务器层的问题，要看状态码和访问来源，而不是去改 robots.txt。
想让入口页里的链接被读到，有哪些更稳的做法
- 把入口页从 Disallow 里放出来，让它能被正常抓取。如果只是不想让这个页面被收录，用 noindex 比 Disallow 更直接，但要注意 noindex 也要页面被抓到才会生效。
- 确认入口页返回 200，链接用最普通的形式写在正文里，href 直接指向目标 URL，不要用脚本后置插入。
- 不要只靠入口页一条路，把重要的 URL 同时放进 sitemap 和可抓取的站内页面，多几个入口互为备份。
- 检查入口页是否同时叠了 noindex、脚本动态插入、iframe 包裹等限制。多个限制叠在一起时，先去掉多余的那层，再观察变化。
几个常见坑
- 把 Disallow 当成 noindex：结果页面既没被抓，也就没有机会被收录，链接更传不出去。
- 规则放错位置：爬虫只读域名根目录下那一份 robots.txt，子目录或子域名里单独放的文件不会被采纳。
- 改完立刻看结果：规则生效有延迟，短期内日志没变化属于正常现象。
- 抓取被中间层挡掉：入口页允许抓取，但 CDN 或防护策略返回 403，链接照样读不到，这时要看的是服务端配置。
robots.txt 决定能不能抓，页面结构决定抓到了能不能读到链接，这是两道独立的关卡。先确认卡在哪一道，再动手调整，比反复换入口页更省时间。
实际排查时，可以先看服务器日志里入口页的状态码和抓取频率，再逐条对照 robots.txt 规则，多数问题在这一步就能定位。另外不必指望单个入口页解决所有发现需求，状态码正常、入口来源多几处，做法才更稳。