常
蜘蛛池入口页更新后搜索蜘蛛还抓到旧链接,缓存层该怎么排查?
入口页的目标链接已经更新,抓取日志里却还是旧 URL,多半是 CDN、反向代理或页面缓存把旧版 HTML 一直发给搜索蜘蛛。本文说明缓存键与 Vary 的影响、如何用蜘蛛 UA 对比判断是否命中旧缓存,以及清理缓存与调整入口页 TTL 的处理顺序和边界。
阅读全文 →共找到 1 篇与“缓存排查”相关的文章。
入口页的目标链接已经更新,抓取日志里却还是旧 URL,多半是 CDN、反向代理或页面缓存把旧版 HTML 一直发给搜索蜘蛛。本文说明缓存键与 Vary 的影响、如何用蜘蛛 UA 对比判断是否命中旧缓存,以及清理缓存与调整入口页 TTL 的处理顺序和边界。
阅读全文 →