做蜘蛛池的人经常会遇到一种情况：入口页本身不被收录，甚至整站索引量长期为零，但目标 URL 又确实偶尔被抓到。这时候很多人会纠结，入口页到底还有没有用。要回答这个问题，得先把「抓取」和「收录」两件事拆开看。
抓取和收录是两条不同的链路
搜索蜘蛛访问一个页面，先决定抓不抓，再决定收不收。这两个判断的标准并不完全一样。一个页面可能被抓取但不进入索引，也可能长期不被抓取。入口页的核心作用是提供一条指向目标 URL 的链接路径，让搜索蜘蛛有机会知道这个 URL 存在，它承担的是「发现」的职能，而不是直接决定目标页最终能不能被收录。
入口页不被收录，里面的链接还会被跟随吗
多数情况下会。搜索蜘蛛抓到入口页的 HTML 后，会解析页面里的 a 标签链接，把这些 URL 放进待抓取队列。页面自身有没有进索引，通常不直接阻止链接被跟随。真正会阻断跟随的是另外几件事，比如链接写了 nofollow、链接只在脚本运行时才插入而蜘蛛没有执行脚本、或者页面本身根本抓不到。
noindex 和 nofollow 是两回事
noindex 表达的是这一页不要放进索引结果，nofollow 表达的是不要顺着这个链接往下走。给入口页加 noindex，一般不会让页面里的链接失效；但如果同时对单条链接加了 nofollow，或者整页设了 nofollow，这条路径基本就断了。很多人把这两个标签的作用搞混，结果改错了地方。
什么情况会真的拖累目标 URL 的发现
入口页不被索引本身影响有限，但如果出现下面这些情况，发现效率就会明显下降：
- 整个域名被 robots.txt 屏蔽，搜索蜘蛛连入口页都进不来；
- 入口页大面积返回 404、500 或长时间超时，蜘蛛回访频率被压低；
- 入口页被 CDN、防火墙或安全策略持续拦截，抓取请求根本到不了源站；
- 入口页内容几乎为空或者完全是模板拼凑，蜘蛛抓一次之后不再回访；
- 所有入口集中在同一个域名、同一套模板上，一旦这个域名被抓取受限，整批目标 URL 的发现都会受影响。
换句话说，影响目标 URL 发现的关键，是入口页能不能被抓到、会不会被反复访问，而不是它有没有出现在搜索结果里。
怎么判断问题出在哪一层
- 先看服务器日志，确认搜索蜘蛛有没有真实访问过入口页，返回码是什么；
- 再看搜索资源平台里的抓取统计，判断是完全没有抓取，还是抓了但频次很低；
- 检查 robots.txt、meta robots 和 X-Robots-Tag 响应头，确认有没有误设规则；
- 用抓取工具模拟一次，看 HTML 里链接是否正确输出、有没有被脚本或样式干扰；
- 如果入口页状态长期异常，可以补充其他发现渠道，比如 sitemap 或换用其他域名的入口页。
入口页不被收录时，还要不要继续维护
如果目标只是让搜索蜘蛛知道目标 URL 存在，入口页即使不收录也仍有价值，前提是它能被稳定抓取。但如果入口页长期抓取频次极低、错误率又高，那它作为发现通道的实际作用就很有限了。这时把精力放在修复可访问性和分散入口来源上，比反复折腾入口页内容更实际。
入口页决定的是目标 URL 有没有机会被发现，不是目标 URL 一定会被收录。发现只是第一步，后续能不能收录、表现如何，还取决于目标页自身的内容质量、可访问性和整体站点情况，没有任何一种入口页做法可以替代这些基本条件。