标签：缓存头

搜索蜘蛛的URL发现：服务器缓存头对抓取路径的影响与站点实践

搜索蜘蛛在抓取时需要依赖服务器响应头判断页面是否更新。合理配置Last-Modified、ETag和Cache-Control，可以让蜘蛛用更少的资源识别无变化页面，把节省的抓取预算用于新链接发现，从而优化整个抓取路径的效率。