爬虫不是浏览器，別把它当回头客
搜尋爬虫抓取頁面时，通常不會像浏览器那样儲存 cookie、维持 session 或携带登入態。對入口頁来说，每一次請求都更像一個第一次到訪的陌生人。即使同一個爬虫 IP 在几分钟内多次訪問，也不代表它會记住上一次看到的 cookie。如果入口頁把關键連結放在“設定 cookie 之後才輸出”的逻辑里，爬虫拿到的可能只是一個空壳頁面。
哪些訪問狀態設定會把爬虫挡在门外
- 先设 cookie 再跳轉：入口頁第一次返回 302，要求浏览器寫入 cookie 後才展示真實連結。爬虫往往不會执行這一步，于是只拿到跳轉响應。
- 用 session 判断是否来過：服務端發現没有 session 就返回驗證頁或空白頁，爬虫同样會卡住。
- 依赖 cookie 才渲染正文：正文和連結由前端根據 cookie 是否存在来决定是否加载，爬虫在 HTML 源碼里找不到可抓取内容。
- 频繁更換 cookie 名稱：每次請求都生成新的 cookie 名或值，導致缓存失效，入口頁回源压力升高，爬虫等待時間變長。
入口頁更應该保持無狀態
蜘蛛池入口頁的核心任務是让爬虫發現 URL，而不是识別“谁来過”。因此，入口頁最好保持無狀態：用 200 狀態碼直接返回 HTML，把需要被發現的連結寫在普通 a 标簽里，不要求 cookie、不校驗 session、不依赖前端脚本才輸出内容。這样無论爬虫来自百度、Google 還是必應，拿到的都是同一份可解析的頁面。
cookie 還會影响缓存與回源
如果入口頁响應里带了 Set-Cookie，CDN 和反向代理往往會降低缓存命中率，甚至完全不缓存。爬虫並發抓取时，每個請求都回源，服務器响應變慢，抓取效率就會下降。更稳妥的做法是把入口頁静態化，不設定影响内容輸出的 cookie；如果确實需要統計訪問，可以只用不參與内容判断的标记，並确保缓存策略不會因此被破坏。
资源接入时的几個检查点
- 域名和 IP 分层时，不要把需要 cookie 或 session 的頁面放在高频抓取的入口层。
- 服務器端不要用 session 做入口頁的准入判断，避免爬虫請求被重定向到驗證頁。
- 讀日誌时關注 Set-Cookie 比例、302 比例和响應時間，如果爬虫請求大量落在非 200 响應上，就要检查狀態逻辑。
- 如果使用 JS 跳轉，至少在 HTML 里保留一條普通連結作為兜底，防止爬虫在脚本执行前离開。
常见誤区
有人以為给爬虫设一個 cookie，就能让它“记住”入口頁，下次直接去抓目标頁。實际上爬虫的抓取队列和抓取路径由搜尋引擎調度，不會因為一個 cookie 就改變抓取計划。
另一個誤区是用 cookie 做频率限制，想借此控制爬虫訪問。搜尋引擎爬虫通常不會按你的预期携带和回传 cookie，结果往往是正常用戶先被挡在外面，爬虫该来的還是會来。
使用建议
把入口頁做简單：直出 HTML、直出連結、無 cookie 依赖、無 session 校驗、响應狀態稳定在 200。如果业務上必须用 cookie，只把它用于不改變頁面内容的統計用途。定期對比爬虫 UA 和普通用戶拿到的响應，確認两者看到的是同一份頁面。蜘蛛池入口頁要的是“谁来都能看到同一份可抓取的内容”，而不是“记住谁曾经来過”。