先把“被抓取”和“被收录”分开看
入口页自己没被收录，和蜘蛛有没有来过、有没有解析过里面的链接，其实是三件不同的事：
- 抓取：蜘蛛请求了入口页的 HTML，这就是一次抓取行为。
- 索引：搜索引擎决定把页面内容存进索引，之后它才可能在搜索结果里出现。
- 链接跟进：蜘蛛在解析 HTML 的过程中看到站内链接，把目标 URL 放进抓取队列。
只要入口页被真正抓取过、链接以可解析的形式写在 HTML 里，即使这个入口页长期不进入索引，里面的目标 URL 仍然可能被发现。反过来，入口页被收录了但蜘蛛再没回访过，新加进去的链接一样不会被发现。
入口页没被收录的两种情况
情况一：被抓取了，只是没进索引
常见于页面内容单薄、与站内其他页高度重复、被 noindex 标记、canonical 指向了别的地址等。这类页面虽然不出现在搜索结果里，但蜘蛛读取 HTML 的过程照常发生，链接解析也照常发生。也就是说，它作为“发现通道”的功能还在。
情况二：根本没被抓取
这才是真正会断链的情况，典型原因有：
- 被 robots.txt 挡在门外，蜘蛛不会请求页面正文，自然也解析不到链接；
- 入口页没有任何外部链接指向，sitemap 里也没有，蜘蛛没有理由知道它存在；
- 服务器长时间超时或返回 5xx，连续失败后蜘蛛会降低回访频率；
- 链接靠 JavaScript 在客户端渲染后才出现，抓取时拿到的初始 HTML 里是空的。
noindex 和 robots 屏蔽，别混为一谈
这一条经常被搞错：
- robots.txt 屏蔽：等于明确告诉蜘蛛不要抓取，通常它不会读取页面内容，链接也就无从解析；
- noindex：页面仍然可以被抓取和解析，只是不被加入索引，链接一般仍会被跟进。
所以，如果你的目的是用入口页帮蜘蛛发现其他 URL，用 noindex 比用 robots.txt 屏蔽要温和得多。当然，前提仍然是入口页能被正常访问和抓取。
怎么核对入口页到底有没有起作用
- 在服务器日志里筛出入口页的访问记录，看返回状态码是不是 200，爬取次数和时间分布是否合理；
- 用抓取模拟工具或渲染后的 HTML 快照，确认目标链接在初始 HTML 里就能看到，而不是渲染之后才出现；
- 检查入口页的 robots meta、canonical 以及 X-Robots-Tag 响应头，确认没有被意外屏蔽或指向别处；
- 抽查目标 URL 的日志，看是否有对应的爬取请求，哪怕入口页本身没有收录记录。
实际运营中可以这样做
- 入口页不必强求收录，但一定要保证“可抓取 + 链接可解析”；
- 链接用普通 a 标签写在 HTML 里，指向站内可直接访问的地址；
- 用 sitemap 和 URL 提交接口做保底，入口页链接作为日常发现渠道；
- 不要为了凑数量批量生成内容高度相似的入口页，这类页面既难被收录，也容易被判定为低价值；
- 定期看日志，发现入口页抓取失败率上升时，先查服务器和 robots 配置，再查内容本身。
把“入口页被收录”当成发现目标 URL 的前提，是常见误解。真正的门槛是：入口页被抓取过，并且链接能在 HTML 里被解析到。