做蜘蛛池或运营站点时，常会遇到一个矛盾：入口页本身不希望被收录，甚至在 robots.txt 里直接 Disallow 掉了，却又指望搜索蜘蛛顺着入口页上的链接去发现目标 URL。这条路径到底还通不通？
先说结论
在绝大多数情况下，入口页被 robots.txt 禁止抓取后，搜索蜘蛛不会去读取这个页面上的链接，靠它来发现目标 URL 的链路基本就断了。原因是 URL 发现的前提是「先抓到页面，再解析页面里的链接」，页面本身抓不了，链接自然也就无从提取。
还要留意一点：robots.txt 管的是「能不能抓」，不是「能不能收录」。禁止抓取不等于删除已收录结果，也不等于能让目标 URL 更容易被收录，这两件事经常被混为一谈。
为什么禁止抓取会切断 URL 发现
搜索蜘蛛的大致工作顺序是：读取 robots.txt，判断某个 URL 是否允许抓取，允许才下载页面，再从页面 HTML 里抽取链接加入待抓取队列。入口页一旦在第一步就被拦下，后面的抽取动作不会发生，目标 URL 也就不会因为「被入口页链接」而进入队列。
个别情况下，蜘蛛可能通过外链、sitemap、历史数据等其他渠道已经知道目标 URL 存在，但那已经不是入口页的功劳了。
几种容易混淆的情形
- 入口页整体被 Disallow：页面上的链接根本无法被读取，URL 发现路径中断。
- 入口页可抓，目标 URL 所在目录被 Disallow：蜘蛛能读到链接，也可能把 URL 记下来，但不会去抓取，状态往往长期停在「已发现未抓取」。
- 入口页可抓，只有目标 URL 单条被 Disallow：情况同上，链接可见但无法抓取。
- robots.txt 用了通配符，误伤入口页或目标目录：表面看只屏蔽了某个参数，实际把整段路径都挡掉了，这是很常见的坑。
几个常见的误区
把 robots.txt 当成「不收录」开关
Disallow 只阻止抓取。如果页面已经被抓取过且没有 noindex，它仍可能出现在搜索结果里，只是摘要内容可能过时。想控制收录应该用 noindex，而不是 Disallow。
只屏蔽了目录，没检查具体链接
入口页路径允许抓取，但页面上的链接指向被禁目录，蜘蛛读到了链接却抓不了，等于白发现。排查时要同时看入口页路径和目标 URL 路径。
规则写错导致整站被挡
比如误写成 Disallow: /，或者 User-agent 写错、规则顺序混乱，都可能让蜘蛛连入口页都不抓。改完 robots.txt 后，最好用搜索引擎官方提供的 robots.txt 测试工具核对一遍。
可以按这个顺序排查
- 打开 robots.txt，逐条核对入口页路径、目标 URL 路径是否被禁止。
- 用测试工具或日志确认蜘蛛是否真的在抓入口页，抓取频次是否正常。
- 查看服务端日志里入口页的响应码，以及目标 URL 是否有被抓取记录。
- 检查页面 HTML 源码，确认链接是真实存在的 a 标签，而不是纯 JS 渲染出来的。
- 如果入口页正常可抓但目标 URL 长期不被抓，再看目标页本身是否响应慢、是否返回异常状态码。
既要隐藏入口页，又想做 URL 发现怎么办
- 把入口页改成可抓取，但加上 noindex，这样链接能被读取，页面本身不进索引。
- 入口页放在 robots.txt 允许的目录下，避免整段路径被规则误伤。
- 用 sitemap 直接提交目标 URL，作为入口页之外的补充渠道。
- 把链接放在站内其他可抓取、内容相对稳定的页面里，不要只依赖单一入口。
robots.txt 是抓取许可清单，不是收录开关。任何靠「屏蔽入口页 + 链接传递」来做 URL 发现的方案，本质上都是在和抓取规则对抗，效果不稳定，也不建议长期依赖。
最后提醒一句：以上只是抓取与发现层面的机制说明，具体到某个站会不会被收录、什么时候被收录，还受内容质量、站点整体情况、竞争环境等多方面影响，没有人能保证结果。与其反复试探规则边界，不如把入口页和内容本身做得干净、可抓、更新正常。