在蜘蛛池里，入口页有时会被设置成“不给搜索蜘蛛抓”，常见做法就是在 robots.txt 里写 Disallow: /。这时很多人会问：入口页虽然被屏蔽了，但里面写着目标 URL 的链接，搜索蜘蛛还能不能顺着这个链接去抓目标 URL？答案不是简单的能或不能，关键要看目标 URL 还有没有别的可抓取入口。
robots.txt 只约束当前主机，不负责“传递”链接
robots.txt 的作用范围是“协议 + 主机 + 端口”下的 URL。某个入口页域名下写了 Disallow: /，搜索蜘蛛就不会请求该域名下的页面。页面不被请求，HTML 里的链接自然也不会被读取。也就是说，搜索蜘蛛不会绕过 robots.txt 去“偷看”入口页里的目标链接。
但 robots.txt 不会影响目标 URL 所在的另一个站点。如果目标 URL 在别的地方还有可抓取的链接，比如其他入口页、站点地图、站内导航或站外引用，搜索蜘蛛仍可能从那些路径发现它。
入口页被屏蔽，断掉的是“从这个入口页发现目标 URL”的路径，不是目标 URL 的全局发现路径。
入口页屏蔽后，搜索蜘蛛的路径会怎么变
假设入口页 A 是目标 URL B 的唯一链接来源，且 A 的 robots.txt 屏蔽了整站：搜索蜘蛛不会请求 A，不会解析 A 里的 <a href>，因此不会因为 A 而请求 B。此时 B 能否被抓，取决于其他来源。
假设入口页 A 被屏蔽，但同一批入口页 C、D 仍然可抓，并且 C、D 里也有指向 B 的链接：搜索蜘蛛可能从 C 或 D 继续发现 B，A 被屏蔽不等于整批入口页都失效。
容易被忽略的几种情况
- 入口页 robots.txt 返回 200 但内容写错：比如把目标 URL 的路径也写进了 Disallow，导致蜘蛛即使进入入口页，也不会去抓目标 URL。
- 入口页被屏蔽，但 sitemap 仍提交目标 URL：这通常不影响目标 URL 被发现，robots.txt 屏蔽的是入口页主机，sitemap 是另一个提交渠道。
- 入口页用 meta robots 的 noindex：这和 robots.txt 不同。noindex 的页面仍可能被抓取，页面里的链接也可能被读取；如果希望页面不收录又保留链接传递，需要区分 noindex 和 robots.txt 屏蔽抓取。
- 只屏蔽入口页，却不在日志里确认：没有抓取日志时，很容易把“蜘蛛没来”和“蜘蛛来了但没抓目标 URL”混在一起。
更稳妥的排查顺序
- 先看入口页服务器日志：搜索蜘蛛有没有请求入口页。如果完全没有请求，优先检查 robots.txt 是否屏蔽了整站或路径。
- 再看目标站日志：目标 URL 有没有被请求。如果有请求但没收录，问题在目标 URL 自身内容和质量，不在入口页链接发现。
- 检查目标 URL 的其他链接来源：sitemap、其他可抓入口页、站内链接、外部引用是否正常。
- 确认入口页 robots.txt 的写法：是否误伤了 CSS、JS 或目标 URL 路径；如果希望入口页被读取链接，至少要让搜索蜘蛛能请求该页面。
- 用抓取测试或日志中的 UA 验证：抓取工具看到的是被屏蔽，还是被允许，避免只凭猜测判断。
结论：不要指望被屏蔽的入口页继续“带路”
如果入口页的 robots.txt 明确禁止搜索蜘蛛抓取，那么该入口页里的目标链接基本不会被读取。目标 URL 能否被发现，要看它是否还有其他可抓取的链接来源。想让入口页承担发现路径，就别用 robots.txt 把它挡在门外；只是不想入口页被收录，可以考虑允许抓取并配合合适的 robots meta 策略，然后通过日志确认目标 URL 的真实抓取情况。