蜘
蜘蛛池前面的 CDN 与防护层：缓存和拦截规则会不会影响蜘蛛来访
蜘蛛池负责把 URL 送到蜘蛛面前，但蜘蛛能不能真正打开页面，取决于 DNS、CDN、WAF 到源站这一整条链路。本文梳理缓存命中、频率限制、验证挑战等环节对抓取的影响，并给出一套可执行的排查顺序，帮助运营者在放量前先把通路检查清楚。
阅读全文 →搜
搜索蜘蛛抓取：CDN 缓存命中与回源差异的排查思路
抓取日志中同一 URL 返回不同内容，很多时候不是源站的问题，而是 CDN 或反向代理缓存策略不一致。本文梳理缓存键、Vary、Set-Cookie、TTL 与节点差异对抓取的影响，给出从响应头和日志入手的排查步骤，以及命中率与内容一致性之间的取舍建议。
阅读全文 →