标签：缓存响应头

站点运营：搜索蜘蛛的URL发现，从Last-Modified与缓存响应头设置谈起

多数站点都把精力放在内链和地图上，却忽略了服务器返回的Last-Modified与Cache-Control头对蜘蛛URL发现节奏的影响。合理设置缓存与时效标记，能让蜘蛛更有效地遍历新URL，减少重复抓取，从底层减轻服务器压力。