标签：Cookie与会话

蜘蛛池入口页必须带 Cookie 或登录才能看到链接，搜索蜘蛛还能抓到目标 URL 吗

搜索蜘蛛的抓取基本不带 Cookie、不登录、不维持会话。如果入口页的链接只在登录后或设置 Cookie 后才出现，蜘蛛看到的多半是空壳页或跳转页。本文说明怎么用无 Cookie 的方式复现蜘蛛视角，以及几种常见的误区和调整思路。