在蜘蛛池里，入口页的职责是把 URL 交出去，让搜索蜘蛛知道“这里有个地址”。但知道不等于看到——如果目标 URL 打开后要求登录、弹验证码，或者需要过一段 JS 挑战，搜索蜘蛛拿到的往往只是那道门，而不是门后的页面。理解这一点，能帮你判断某次抓取到底是失败了，还是压根没开始。
先分清“发现”和“抓取”是两步
搜索蜘蛛从入口页读到链接，只是把 URL 记下来，放进待抓队列。真正来访时，它以未登录的身份发起请求，不带你的 Cookie，也不会替你点按钮、输密码。所以“URL 被发现了”和“URL 的内容被抓到了”是完全不同的状态。前者靠入口页，后者取决于目标 URL 自己愿不愿意把内容交给一个陌生访客。
被登录墙挡住时，通常会发生什么
返回登录页或跳转
如果未登录访问被 302 跳到 /login，搜索蜘蛛会停留在登录页。它能拿到的内容就是登录页的内容，跟你的目标页面无关。这种情况若长期存在，那个 URL 在搜索引擎眼里就是一个登录页，而不是你希望它认识的那个页面。
返回 401 或 403
有些站点直接返回 401 或 403。这类状态码会让抓取立刻结束，队列里的这次访问算一次失败。偶尔一次问题不大，但如果每次来都被拒，重复几次后抓取频率通常会自动降低。
弹验证码或 JS 挑战
验证码、滑块、几秒盾这类拦截，一般靠 JS 执行后写 Cookie 才能通过。搜索蜘蛛大多不执行完整交互，页面就停在挑战页。结果和登录墙类似：请求成功返回 200，但内容几乎是空壳。
哪些情况其实还能正常抓取
- 付费墙但首屏正文可见：蜘蛛看到的和普通访客一致，抓取不受影响。
- 正文需要登录，但标题、摘要、结构化数据未登录可见：至少能被识别成一个真实页面，而不是空壳。
- 拦截只针对可疑来源，对已验证的搜索蜘蛛放行：这类白名单机制要确保配置长期有效，别在换 CDN 之后失效。
- 目标 URL 另有公开的静态版本或精简版本：入口页直接指向那个版本，绕开登录逻辑。
这些做法的共同点是：让“未登录访客”能看到真实内容，而不是专门给搜索蜘蛛造一个假页面——后者一旦被发现，风险比不收录大得多。
排查时可以按这个顺序看
- 用无痕窗口、不带 Cookie 打开目标 URL，看到什么，大概率就是搜索蜘蛛看到的东西。
- 看服务器日志里搜索蜘蛛那次请求的状态码和响应体大小，空壳页面通常只有几 KB。
- 确认跳转链条有多长，登录跳转往往还叠着地区跳转、语言跳转。
- 如果入口页指向的是短链，检查短链最终落到的是不是登录页。
发现一个 URL 的成本很低，抓到内容才需要目标 URL 配合。入口页做得再好，也解决不了门后不让进的问题。
几个常见误区
一是以为“提交了就一定会抓”，提交只影响排队顺序，不影响能否拿到内容。二是把登录页的 200 状态码当成抓取成功，实际上抓到的是另一张页面。三是给搜索蜘蛛单独开一个免登录通道，却不做任何来源校验，等于给所有人开了后门。稳妥的做法还是让公开内容保持公开，需要权限的部分就不要指望被收录。
把入口页和“门后的可达性”分开看，很多“URL 一直不收录”的疑问其实就有了答案：不是蜘蛛没来，而是它来了，站在门口没进去。