入口页链接管的是发现，robots 管的是抓取
搜索蜘蛛遇到一个陌生 URL，大致分两步走：第一步是发现，通过外链、sitemap、URL 提交，或者入口页里的超链接知道有这么个地址，把它放进待抓取队列；第二步才是抓取，轮到它的时候发请求把内容拿回来。入口页上放目标链接，作用集中在第一步。
而 robots.txt 里的 Disallow 是给爬虫划禁区：这个路径下的 URL 不要来抓。它拦的是第二步，不是第一步。理解这一点，很多「到底还有没有用」的疑问就能自己推出来了。
三种常见组合
1. 目标 URL 被 robots.txt 禁止抓取，页面本身没有 noindex
这种情况下，入口页的链接依然能让蜘蛛发现目标 URL。URL 可能出现在搜索结果里，只有地址、没有描述，因为它没被抓取，也就没有标题和摘要可以展示。对站点运营来说，这通常不是想要的结果：放链接的目的是让蜘蛛抓到内容，而不是让一个没内容的地址挂在那儿。
想让链接真正发挥作用，得先把 robots.txt 里对应的规则放开，让抓取能正常进行。注意放开之后不会立刻生效，蜘蛛重新抓取需要时间，也可能受抓取配额影响。
2. 目标 URL 页面里有 noindex，robots.txt 允许抓取
这时蜘蛛能顺着入口页链接抓取目标页，页面返回 200，但页面里的 noindex 指令或响应头里的 X-Robots-Tag 告诉它：可以读，但别放进索引。抓取动作是完成了的，索引动作被拒绝。
如果你只是想让蜘蛛来抓、不想让它收录，这个组合是能用的；但如果你指望目标页带来搜索流量，那 noindex 和放链接的目标就互相打架了。先确认目标页当前到底是哪种意图，再决定要不要在入口页放链接。
3. 禁止抓取和 noindex 同时存在
这是最容易踩坑的一种。因为抓取已经被拦住了，蜘蛛读不到页面里的 noindex，也就无从执行。如果这个 URL 通过入口页链接被大量发现，它可能仍然以无摘要的形式出现在搜索结果中，而那句 noindex 一句话都没说上。
想把一个 URL 干净地请出索引，常规做法是：先允许抓取，确保蜘蛛能读到页面，再让页面返回 noindex，等它被抓取并处理完之后，才考虑是否重新收紧 robots.txt。
入口页链接还有多大意义
- 目标页允许抓取、允许收录：入口页链接是正常的发现通道，价值最大。
- 目标页允许抓取、禁止收录：链接能带来抓取，但不会带来收录，适合清理型需求。
- 目标页禁止抓取、没有 noindex：链接主要制造「可能是空壳的结果」，一般不是你想要的效果。
- 目标页禁止抓取且有 noindex：noindex 大概率读不到，实际表现更像上一条。
另外，即使 robots.txt 完全放开，蜘蛛来不来抓、抓多深，还要看入口页本身是否可访问、响应是否稳定、链接是不是标准的 a href 形式。这些环节任何一个出问题，效果都会打折。
怎么判断问题卡在哪一步
- 看 robots.txt 里有没有命中目标路径的规则，注意通配符和路径前缀的写法。
- 抓一次目标 URL 的响应头，确认 X-Robots-Tag；再看 HTML 里的 robots meta。
- 对照服务器日志，看到底是蜘蛛没来，发现环节的问题，还是来了但被 403 或 robots 拦住，抓取环节的问题。
- 在搜索结果里搜目标 URL 的完整地址，看它是否以无摘要形式存在，能反过来验证抓取是否被拦。
入口页负责让 URL 被知道，robots 相关设置负责决定它会不会被抓、能不能被收录。这几件事各自独立，别用一个手段去解决另一个环节的问题。