结论：先分清是哪一种限制
搜索蜘蛛访问入口页时，本质上是一个不带 Cookie、不登录、没有本地存储的匿名请求。它只带一个 UA 字符串和少量请求头。所以限制方式不同，结果完全不同：
- 登录后才显示链接：蜘蛛拿不到，基本无效。
- 校验 Cookie 或 Session：同样拿不到，链接等于不存在。
- 只对搜索引擎 UA 输出链接：蜘蛛能拿到，技术上可行，但属于对不同访客返回不同内容，有被判伪装的风险。
- 校验 Referer 或来源 IP：蜘蛛的 Referer 通常为空，来源 IP 也不固定，很容易被直接挡在门外。
所以看到入口页日志里有蜘蛛来访，并不代表它真的看到了你要它发现的那些链接，这两件事要分开看。
为什么登录和 Cookie 这条路走不通
蜘蛛不会替你注册账号，也不会保持会话。它每次抓取都近似一次全新的匿名访问，不会带着你浏览器里那份 Cookie。少数渲染型蜘蛛能执行页面上的 JavaScript，但它不会去填登录表单、也不会点按钮完成身份验证。
如果你的入口页需要先登录、或者要带着某个校验过的 Cookie 才会输出目标链接，那么对蜘蛛而言，这个页面就是一个没有链接的空页面。你把链接藏得再巧妙，它也没办法凭空猜出来。
UA 白名单为什么看着能用、却不好用
- UA 字符串会变。新的蜘蛛标识、移动端 UA、或者平台更新过的 UA，都可能不在你的白名单里，链接就漏掉了。
- 对蜘蛛输出一套、对普通访客输出另一套，是典型的伪装内容。短期可能看到抓取量上来，长期损伤的是域名整体信任度。
- 这类页面一旦被人工审核或算法抽样命中，连累的不只是入口页，可能包括同域的其他页面。
能被抓到，和该不该这么做，是两件事。
怎么自测入口页对蜘蛛是否可见
- 用不带 Cookie 的匿名请求访问入口页，直接看返回的 HTML 源码里有没有目标链接，而不是看你浏览器里渲染出来的样子。
- 关掉 JavaScript 再看一遍，确认链接是写在服务端返回的 HTML 里，还是靠前端脚本注入的。
- 查服务器日志，按蜘蛛 UA 过滤，看返回码是不是 200、返回字节数和你自己看到的差多少。返回内容明显偏小，往往是没输出链接。
- 用搜索平台提供的抓取诊断或 URL 检查工具，看渲染后的 HTML 里目标链接有没有出现，顺带看渲染是否报错。
更稳妥的做法
入口页最好保持无状态、匿名可见、服务端直接输出的 HTML 链接。页面对所有人都是同一份内容，蜘蛛能否发现链接，就不取决于它是不是蜘蛛，而取决于链接是不是真的在页面里。
如果你确实需要区分访客，把区分放在展示样式、统计脚本、个性化模块上，不要放在“有没有链接”这件事上。入口页的核心任务是让 URL 被稳定地看见，任何需要额外条件才可见的链接，都会让这条链路变得不可控。
最后提醒一句：入口页让蜘蛛发现 URL，只是把 URL 送进了抓取队列。能否抓取、能否收录，还取决于目标 URL 自身的质量、返回状态和站点整体情况，中间没有必然的因果关系，也不建议用没被收录就继续加入口页的方式反复叠加。