做蜘蛛池的时候，很多人会把注意力放在链接、IP、跳转这些显眼的地方，却忽略了一个很隐蔽的变量：Cookie。蜘蛛来抓入口页时，通常不携带任何 Cookie，也不执行 JavaScript 里的写入逻辑。如果你的页面只在某些状态下才输出正文，蜘蛛看到的可能就是另一版。
蜘蛛的请求和普通用户差在哪
普通用户访问时，浏览器会带上第一次响应里 Set-Cookie 下发的值，服务器据此识别“这个人来过”。蜘蛛的请求更像一次干净的首次访问：没有 Cookie，没有本地存储，没有登录态。也就是说，入口页在“首次访问”这一分支下返回什么，才是蜘蛛真正拿到的东西。
三类容易被忽略的问题
同意框或弹窗挡在正文前面
合规提示、地区选择、语言切换这类弹窗，常用 Cookie 记录“已确认”。蜘蛛每次都算首次访问，于是每次都命中弹窗分支。如果弹窗是前端渲染的，影响有限；但如果是服务端判断后输出一段占位 HTML，正文就会被挤掉。
正文依赖会话才生成
有些入口页为了防采集，会先下发 Cookie，再在后续请求里输出真实链接。蜘蛛拿不到第二步，自然只能看到一个空壳。这类设计在人工测试时完全正常，因为浏览器帮你把 Cookie 走完了。
状态判断触发了跳转
“未登录跳转到 A，已登录跳转到 B”的逻辑，蜘蛛永远落在未登录那一支。如果 A 是首页或验证页，入口页实际上就没被访问到。反过来，如果你的目标是让蜘蛛看到某一版，就要确认这一版在无 Cookie 时也能直接返回。
排查方法
- 用不带 Cookie 的请求抓一次入口页，例如 curl -I 看响应头，再抓完整正文对比长度。
- 切换成蜘蛛 UA 再抓一次，看返回内容是否和普通 UA 一致。
- 检查响应头里的 Set-Cookie，确认是否存在依赖它的后续逻辑。
- 在访问日志里观察蜘蛛请求，看它是否反复拿到同一个中间态页面。
- 关掉浏览器缓存与 Cookie，用无痕窗口手工复现一次。
处理建议
- 入口页的正文与核心链接尽量做成无状态输出，不依赖 Cookie。
- 弹窗、提示条放在前端渲染，避免占用服务端的正文输出。
- 必须用 Cookie 做分流时，给蜘蛛 UA 一条明确的放行分支，并保持内容与目标页一致。
- 别把 Cookie 当防采集手段，它拦不住采集，却容易误伤蜘蛛。
判断标准很简单：关掉 Cookie 打开入口页，如果看到的和你希望蜘蛛看到的不一样，那蜘蛛看到的也不是你希望的那一版。