标簽：索引控制

站点运营：搜尋蜘蛛的URL發現，從站内搜尋结果頁的索引控制開始

站内搜尋结果頁往往产生大量低质量URL，容易浪費搜尋蜘蛛的抓取配額。本文從蜘蛛池视角出發，介绍如何通過noindex、nofollow、robots規則等方式控制搜尋结果頁的索引，引導蜘蛛更专注于核心内容頁面的發現與收錄。