标簽：Crawl-delay

蜘蛛池與URL發現：robots.txt的Crawl-delay指令能控制搜尋蜘蛛抓取吗？

很多站長在robots.txt中設定了Crawl-delay，期望限制搜尋蜘蛛的抓取频率，但實际效果往往不理想。本文分析Crawl-delay指令的语法、各搜尋引擎的支持情况，並介绍服務器端限流等更可靠的替代方案。