蜘
蜘蛛池入口页的 Cookie 与登录态:蜘蛛拿不到的那部分链接
蜘蛛访问入口页时通常不带 cookie、不带登录态、也不保留本地存储。如果链接依赖这些状态才出现,日志里看着抓取正常,实际能跟下去的链接却很少。本文梳理几种常见的“藏链接”写法,给出一套用无状态请求对比源码的排查方法,以及把链接放回服务端直出 HTML 的调整思路。
阅读全文 →共找到 1 篇与“Cookie与登录态”相关的文章。
蜘蛛访问入口页时通常不带 cookie、不带登录态、也不保留本地存储。如果链接依赖这些状态才出现,日志里看着抓取正常,实际能跟下去的链接却很少。本文梳理几种常见的“藏链接”写法,给出一套用无状态请求对比源码的排查方法,以及把链接放回服务端直出 HTML 的调整思路。
阅读全文 →