标签：Crawl-delay

蜘蛛池与URL发现：robots.txt的Crawl-delay指令能控制搜索蜘蛛抓取吗？

很多站长在robots.txt中设置了Crawl-delay，期望限制搜索蜘蛛的抓取频率，但实际效果往往不理想。本文分析Crawl-delay指令的语法、各搜索引擎的支持情况，并介绍服务器端限流等更可靠的替代方案。