TAG

标签：Session

共找到 2 篇与“Session”相关的文章。

蜘

蜘蛛池入口页的 Cookie 与 Session：为什么会带来重复抓取

蜘蛛池知识2026-10-10阅读 1

入口页的 Cookie 和 Session 设置看似是服务端小事，却会影响蜘蛛拿到什么 URL、是否重复抓取。本文梳理 Session ID 写进 URL、Set-Cookie 响应头、登录依赖与缓存之间的关系，并给出可落地的检查清单。

蜘

蜘蛛池知识2026-10-05阅读 19

搜索爬虫通常不保存 cookie 和 session，入口页如果依赖这些状态才输出链接，爬虫很可能只看到空壳。本文说明哪些访问状态设置会挡住爬虫，以及入口页保持无状态、静态直出的具体做法。