结论先放在前面
搜索蜘蛛的抓取基本是无状态的：它默认不携带你的 Cookie，不会走登录流程，也不会像浏览器那样维持一个会话。所以当入口页的链接依赖“先种 Cookie 再渲染”或“登录后才显示”时，蜘蛛拿到的往往是一个空壳页，自然也就走不到后面的目标 URL。
这不是蜘蛛“能力不行”，而是设计上就不该用它去模拟用户登录。把要被抓的入口页做成无需会话即可读取，才是更稳的做法。
为什么蜘蛛看不到登录后的内容
- 不带 Cookie：蜘蛛请求通常是干净的，你上一次访问留下的会话对它无效。
- 不走登录表单：提交账号密码、验证码、短信校验这类流程，蜘蛛不会执行。
- 会话写在 URL 里更糟：形如 ?sid=xxxx 的入口地址既不稳定，也容易在换会话后失效。
- 渲染队列有时延：如果链接是 JS 读取 localStorage 或 Cookie 后再插入的，即使进了渲染流程，也可能因为取不到值而渲染出空内容。
怎么验证自己是不是踩了这个坑
- 用不带 Cookie 的命令行请求抓一次入口页，看返回的 HTML 源码里有没有目标链接。
- 开浏览器隐身窗口直接访问入口页，不登录、不点任何按钮，对比“正常访问”时的差异。
- 用搜索平台自带的抓取测试 / URL 检查类工具，看它渲染出来的结果与你的预期是否一致。
- 翻服务器日志，按蜘蛛 UA 过滤，观察状态码与响应体大小。响应体常年只有几百字节、且明显小于正常页面，基本可以确认是空壳页。
几种“半遮半掩”的常见写法
1. 首次访问下发 Cookie，第二次才输出链接
有些入口页会先 Set-Cookie，再在后续请求里判断 Cookie 是否存在来决定是否输出链接。对蜘蛛来说，每次请求都像“第一次”，于是永远停在无链接的那一版。
2. 前端判断后再插入链接
链接由 JS 在客户端注入，注入前提是本地存在某个标记。这种情况服务端返回的源码里没有链接，能否被发现完全取决于渲染行为，稳定性很差。
3. 入口页直接 302 到登录页
蜘蛛跟随跳转后落在一个登录页上，入口页的作用等于零，还可能让整条跳转链被判定为无效路径。
可落地的调整思路
- 把需要被抓取的入口页单独拆出来，放在不做鉴权的路径下，内容用服务端渲染，链接直接写在 HTML 里。
- 入口页只承担“列出目标链接”的职责，用户登录区、会员区与入口页彻底分离。
- 尽量避免让入口页依赖任何 Cookie 才能输出正文，包括“地区判断”“AB 测试分流”这类看似无害的逻辑。
- 如果确实需要动态输出，至少保证首屏 HTML 里就有链接，而不是等脚本执行完才出现。
- 定期用无 Cookie 的方式做一次回归检查，把“入口页是否还能被裸抓”纳入日常巡检。
不要用 User-Agent 判断给蜘蛛返回和普通用户不一样的内容。这类做法属于典型的伪装，风险远大于收益，也解决不了“链接本来就不该公开”的问题。
顺带说一句 Cookie 与缓存
入口页如果频繁下发 Set-Cookie，CDN 或缓存层往往会因此选择不缓存，结果是每个蜘蛛请求都直接打到源站。抓取量稍微上来一点，源站压力和响应时间都会明显变化，进而又影响抓取节奏。能不用会话就别用，对抓取和对服务器都更省事。
小结
判断标准其实很简单：把 Cookie 清空、不登录去访问入口页，如果目标链接还在，蜘蛛大概也能看到；如果不在了，蜘蛛看到的和空页面差不多。蜘蛛池的价值在于让 URL 更容易被持续发现，而不是给蜘蛛设置一道它永远过不去的门槛。