蜘
蜘蛛池入口页上 CDN:缓存、回源与真实 IP 记录带来的变化
入口页挂 CDN 会同时改变两件事:爬虫拿到的响应,和你看到的访问记录。本文从缓存策略、回源日志、真实 IP 保留、多节点响应差异几个角度,说明 CDN 用在蜘蛛池入口页时该注意什么,以及哪些情况下其实不必多这一层。
阅读全文 →共找到 1 篇与“真实IP”相关的文章。
入口页挂 CDN 会同时改变两件事:爬虫拿到的响应,和你看到的访问记录。本文从缓存策略、回源日志、真实 IP 保留、多节点响应差异几个角度,说明 CDN 用在蜘蛛池入口页时该注意什么,以及哪些情况下其实不必多这一层。
阅读全文 →